一种全息层析三维显微镜

    公开(公告)号:CN116149157B

    公开(公告)日:2025-04-18

    申请号:CN202310212031.2

    申请日:2023-03-07

    Inventor: 张旺 秦文健 曾光

    Abstract: 本申请公开了一种全息层析三维显微镜,包括:全息光路以及FPGA模块;全息光路包括光源和光学传感器,光源用于产生光束,一部分光束经过观测对象得到物光,另一部分光束作为参考光,物光和参考光叠加发生干涉,生成干涉条纹,光学传感器记录干涉条纹得到全息图像;FPGA模块包括全息重建单元以及层析三维重建单元;全息重建单元使用衍射传播算法将全息图像重建成幅度图和相位图;层析三维重建单元使用层析重建算法根据幅度图和相位图进行层析三维重建,得到三维图像。相较于现有技术中利用计算机进行三维重建,本申请利用FPGA实现基于全息图像进行三维重建,解决了相关技术中存在的全息显微镜重建速度慢、体积大、功耗高的问题。

    基于人工智能导盲的多模态融合障碍物检测方法及装置

    公开(公告)号:CN113591770B

    公开(公告)日:2023-07-18

    申请号:CN202110913691.4

    申请日:2021-08-10

    Inventor: 秦文健 张旺

    Abstract: 本发明公开了一种基于人工智能导盲的多模态融合障碍物检测方法,包括:通过红外相机和彩色相机分别负责获取场景的红外图像、彩色图像;获取的红外、彩色双模态图像分别传给卷积神经网络Q1和卷积神经网络Q2,所述卷积神经网络Q1和卷积神经网络Q2分别将图像转为第一多通道特征图和第二多通道特征图,以备后面展平为向量;将所述第一多通道特征图和第二多通道特征图向量化表示,将第一多通道特征图和第二多通道特征图序列进行特征向量编码,生成多个预测向量;对生成多个预测向量进行分类和位置预测,本发明是在障碍物检测的过程中引入Transformer结构,更有效地实现多模态融合,引入Transformer‑block,充分融合红外和彩色图像的特征,提高低照度情景下的障碍物检测精度。

    基于人工智能导盲的多模态融合障碍物检测方法及装置

    公开(公告)号:CN113591770A

    公开(公告)日:2021-11-02

    申请号:CN202110913691.4

    申请日:2021-08-10

    Inventor: 秦文健 张旺

    Abstract: 本发明公开了一种基于人工智能导盲的多模态融合障碍物检测方法,包括:通过红外相机和彩色相机分别负责获取场景的红外图像、彩色图像;获取的红外、彩色双模态图像分别传给卷积神经网络Q1和卷积神经网络Q2,所述卷积神经网络Q1和卷积神经网络Q2分别将图像转为第一多通道特征图和第二多通道特征图,以备后面展平为向量;将所述第一多通道特征图和第二多通道特征图向量化表示,将第一多通道特征图和第二多通道特征图序列进行特征向量编码,生成多个预测向量;对生成多个预测向量进行分类和位置预测,本发明是在障碍物检测的过程中引入Transformer结构,更有效地实现多模态融合,引入Transformer‑block,充分融合红外和彩色图像的特征,提高低照度情景下的障碍物检测精度。

    一种低光照障碍物检测方法、系统、终端以及存储介质

    公开(公告)号:CN114065838B

    公开(公告)日:2023-07-14

    申请号:CN202111235613.X

    申请日:2021-10-22

    Abstract: 本申请涉及一种低光照障碍物检测方法、系统、终端以及存储介质。所述方法包括:利用循环对抗网络将正常光照样本图像转换为低光照样本图像;通过光照增强网络对所述低光照样本图像进行增强处理,得到低光照增强图像;将所述低光照增强图像输入目标检测模型进行训练,得到训练好的目标检测模型;通过所述训练好的目标检测模型对待检测的低光照图像进行障碍物识别。本申请实施例通过引入自监督低光照增强算法对低光照图像进行增强处理,将低光照增强与目标检测算法进行有效结合,提高目标检测算法对低光照目标检测的鲁棒性和精度,解决了在低光照情景下使用普通目标检测算法进行障碍物检测存在的检测效果差的问题。

    基于FPGA的三维重建装置、方法、系统及存储介质

    公开(公告)号:CN116051754A

    公开(公告)日:2023-05-02

    申请号:CN202310204311.9

    申请日:2023-03-06

    Inventor: 张旺 秦文健 曾光

    Abstract: 本申请实施例提供了一种基于FPGA的三维重建装置、方法、系统及存储介质,涉及三维重建技术领域。其中,该装置包括:图像获取模块,用于获取待重建目标的至少一张二维图像;其中,各所述二维图像分别对应于所述待重建目标的一个投影角度;图像变换模块,用于对各所述投影角度的所述二维图像并行进行变换,得到对应于各投影角度的强度图像;三维重建模块,用于基于各投影角度的强度图像并行进行三维重建,得到所述待重建目标的三维图像。本申请实施例解决了相关技术中三维重建系统成本高、体积大的问题。

    一种基于人工智能的障碍物检测方法

    公开(公告)号:CN112560579A

    公开(公告)日:2021-03-26

    申请号:CN202011307128.4

    申请日:2020-11-20

    Abstract: 本发明公开了一种基于人工智能的障碍物检测方法。该方法包括:根据光照度将采集的生活场景数据集划分为标准光照度的第二风格数据集和其他光照度的第一风格数据集;以设定的损失函数为目标训练循环对抗网络,该循环对抗网络包括第一生成器、第二生成器、第一鉴别器和第二鉴别器,其中,第一生成器用于转换第一风格数据集并传递至第一鉴别器,第二生成器用于转换第二风格数据集并传递至第二鉴别器,第一鉴别器和第二鉴别器用于判断接收到图像是否符合对应的目标风格;利用经训练的第一生成器处理待检测图像,并输出至目标检测网络进行障碍物检测。本发明解决了导盲技术面临的复杂光照情景下的目标检测鲁棒性差和准确度低的难题。

    基于FPGA的三维重建装置、方法、系统及存储介质

    公开(公告)号:CN116051754B

    公开(公告)日:2023-09-22

    申请号:CN202310204311.9

    申请日:2023-03-06

    Inventor: 张旺 秦文健 曾光

    Abstract: 本申请实施例提供了一种基于FPGA的三维重建装置、方法、系统及存储介质,涉及三维重建技术领域。其中,该装置包括:图像获取模块,用于获取待重建目标的至少一张二维图像;其中,各所述二维图像分别对应于所述待重建目标的一个投影角度;图像变换模块,用于对各所述投影角度的所述二维图像并行进行变换,得到对应于各投影角度的强度图像;三维重建模块,用于基于各投影角度的强度图像并行进行三维重建,得到所述待重建目标的三维图像。本申请实施例解决了相关技术中三维重建系统成本高、体积大的问题。

    一种全息层析三维显微镜

    公开(公告)号:CN116149157A

    公开(公告)日:2023-05-23

    申请号:CN202310212031.2

    申请日:2023-03-07

    Inventor: 张旺 秦文健 曾光

    Abstract: 本申请公开了一种全息层析三维显微镜,包括:全息光路以及FPGA模块;全息光路包括光源和光学传感器,光源用于产生光束,一部分光束经过观测对象得到物光,另一部分光束作为参考光,物光和参考光叠加发生干涉,生成干涉条纹,光学传感器记录干涉条纹得到全息图像;FPGA模块包括全息重建单元以及层析三维重建单元;全息重建单元使用衍射传播算法将全息图像重建成幅度图和相位图;层析三维重建单元使用层析重建算法根据幅度图和相位图进行层析三维重建,得到三维图像。相较于现有技术中利用计算机进行三维重建,本申请利用FPGA实现基于全息图像进行三维重建,解决了相关技术中存在的全息显微镜重建速度慢、体积大、功耗高的问题。

    一种低光照障碍物检测方法、系统、终端以及存储介质

    公开(公告)号:CN114065838A

    公开(公告)日:2022-02-18

    申请号:CN202111235613.X

    申请日:2021-10-22

    Abstract: 本申请涉及一种低光照障碍物检测方法、系统、终端以及存储介质。所述方法包括:利用循环对抗网络将正常光照样本图像转换为低光照样本图像;通过光照增强网络对所述低光照样本图像进行增强处理,得到低光照增强图像;将所述低光照增强图像输入目标检测模型进行训练,得到训练好的目标检测模型;通过所述训练好的目标检测模型对待检测的低光照图像进行障碍物识别。本申请实施例通过引入自监督低光照增强算法对低光照图像进行增强处理,将低光照增强与目标检测算法进行有效结合,提高目标检测算法对低光照目标检测的鲁棒性和精度,解决了在低光照情景下使用普通目标检测算法进行障碍物检测存在的检测效果差的问题。

Patent Agency Ranking