一种鱼眼图像的自监督特征点匹配方法及其存储介质

    公开(公告)号:CN115410014A

    公开(公告)日:2022-11-29

    申请号:CN202211027390.2

    申请日:2022-08-25

    Applicant: 同济大学

    Inventor: 田炜 蔡培

    Abstract: 本发明涉及一种鱼眼图像的自监督特征点匹配方法及其存储介质,包括以下步骤:S1将成对图像输入到神经网络模型中,进行离线训练,得到训练好的匹配模型;S2将待测的数据输入训练好的匹配模型,提取出特征描述子,计算特征描述子损失函数并输出对应的匹配结果图。与现有技术相比,本发明聚焦于鱼眼图像的特征点匹配,方法中避免对原图像进行去畸变处理而损失大量像素信息和立体几何关系;模型采用的UnsuperPoint自监督学习策略,使得该方法的应用不受限于鱼眼数据集的稀少和标注的高成本;本发明对模型的网络层和损失函数进行了改进,增强网络在复杂几何关系中捕捉重要信息的能力,提高了网络的学习性能,为鱼眼相机在感知领域中的广泛应用搭建桥梁。

    一种单目车库语义建图尺度恢复方法

    公开(公告)号:CN115346190A

    公开(公告)日:2022-11-15

    申请号:CN202210301702.8

    申请日:2022-03-24

    Applicant: 同济大学

    Abstract: 本发明涉及一种单目车库语义建图尺度恢复方法,包括:根据相机外参,对原图像进行鸟瞰图变换,得到对应的鸟瞰图;在鸟瞰图上检测库位角点;在库位角点对应的前视图上,为库位角点添加描述子;通过描述子对连续图像进行库位角点关联,并根据单目建图已有的定位信息,对关联的库位角点进行三角化处理,获得每一个库位角点的3D位置;根据轨迹与库位角点的相对位置,恢复全局尺度。与现有技术相比,本发明在使用单目视觉进行建图的基础上,能够恢复全局尺度,从而保证后续语义建图的准确性。

    一种基于RGB和红外图像的3D信息感知方法和系统

    公开(公告)号:CN114782541A

    公开(公告)日:2022-07-22

    申请号:CN202210209540.5

    申请日:2022-03-04

    Applicant: 同济大学

    Abstract: 本发明涉及一种基于RGB和红外图像的3D信息感知方法和系统,方法包括:对RGB相机和红外相机进行双目标定,获取相机的内外参和单应矩阵;分别获取原始RGB图像和红外图像,并进行图像矫正使其平行共面;基于矫正后的RGB图像和红外图像获取双目RGB深度图和双目红外深度图;对矫正后的红外图像进行深度估计得到单目红外深度图;对矫正后的RGB图像进行光照估计,获取图像亮度并进行光照判断;基于光照判断对双目RGB深度图、双目红外深度图和单目红外深度图进行加权得到最终的深度图;将深度图映射到三维空间获取伪点云并输入点云网络获取目标的3D信息。与现有技术相比,本发明能够更好地处理强光照、低光照、目标与背景区分度小等非常规工况下的3D信息感知。

    一种应用于低光照场景的车道线检测方法及其系统

    公开(公告)号:CN114120274A

    公开(公告)日:2022-03-01

    申请号:CN202111359844.1

    申请日:2021-11-17

    Applicant: 同济大学

    Abstract: 本发明涉及一种应用于低光照场景的车道线检测方法及其系统,该方法包括以下步骤:分别构建图像特征增强网络和车道线检测网络;对图像特征增强网络和车道线检测网络进行网络训练;将采集的实际图像输入训练好的图像特征增强网络,输出得到增强的图像特征;将增强的图像特征输入训练好的车道线检测网络,输出得到对应的车道线检测信息。该系统的图像特征增强模块使用轻量化的自监督端到端网络;车道线检测模块使用基于深度神经网络的语义分割模型。与现有技术相比,本发明将图像特征增强算法引入了车道线检测任务,能够在不影响检测实时性的基础上,有效提升车道线检测算法在低光照条件下的检测精度,进而提高车辆自动驾驶系统的鲁棒性和安全性。

    一种红外与RGB跨模态特征点匹配方法

    公开(公告)号:CN114120013A

    公开(公告)日:2022-03-01

    申请号:CN202111392935.5

    申请日:2021-11-23

    Applicant: 同济大学

    Abstract: 本发明涉及一种红外与RGB跨模态特征点匹配方法,包括:基于采集的原始RGB图像和IR图像对深度学习模型进行离线训练,得到训练好的匹配模型;将待测的数据输入匹配模型,以提取出特征描述子、输出对应匹配结果。与现有技术相比,本发明聚焦于多光谱图像的融合,融合可见光图像(RGB)和热成像图像(IR),通过模型训练,能够在多模态下准确提取特征点,更好地执行跨模态特征匹配任务,进而提高在光照变化剧烈及黑暗场景下相机位姿估计的精度,可以为许多应用提供可靠的感知前端,为后续在传统SLAM框架下融合多光谱传感器的研究工作做好前端铺垫,也将有利于实现跨越白天(基于RGB图像)和黑夜(基于IR图像)的同一场景建图定位匹配或深度估计与三维建图。

    一种用于自动驾驶的动态障碍物检测方法

    公开(公告)号:CN114022563A

    公开(公告)日:2022-02-08

    申请号:CN202111238591.2

    申请日:2021-10-25

    Applicant: 同济大学

    Abstract: 本发明提供一种用于自动驾驶的动态障碍物检测方法,包括以下步骤:通过车载传感器设备获取车辆运行过程中的环境图像流、点云数据和定位数据;将所述环境图像流分成连续的帧图像,对每一对连续的帧图像依次进行2D特征点的检测和匹配、2D特征点的3D位置的还原和恢复、3D特征点的动静态点的甄别,以及构建动静二值标签;将所有帧图像的动静二值标签作为神经网络的输入,训练神经网络;实时采集车辆运行过程中的环境图像流,以点云数据和定位数据,并输入训练好的神经网络,获取动静二值分割图像,进而实现动态障碍物的检测。与现有技术相比,该方法能够通过对动态目标和静态目标进行分割,进而实现动态障碍物检测,并提高障碍物检测的准确性。

    一种基于多传感器融合的无锚框3D目标检测方法

    公开(公告)号:CN114118247B

    公开(公告)日:2025-05-02

    申请号:CN202111384455.4

    申请日:2021-11-18

    Applicant: 同济大学

    Abstract: 本发明涉及一种基于多传感器融合的无锚框3D目标检测方法,包括:获取彩色RGB图像和激光点云;对彩色RGB图像进行语义分割,得到各像素的类别信息;利用类别信息对激光点云的特征进行增强,得到增强激光点云;对增强激光点云分别进行点云几何特征编码、点云可见性特征编码,得到几何特征和可见性特征;将几何特征与可见性特征进行堆叠,得到堆叠特征;将堆叠特征输入多层特征提取网络,提取不同层级的特征信息,再将各层级的特征信息进行堆叠,得到融合特征;将融合特征输出给无锚框目标检测器,以得到3D目标检测结果。与现有技术相比,本发明通过多模态数据的融合,利用传感器之间的优势互补来增强3D目标检测性能,从而实现准确快速检测的目的。

    一种基于停车位角点检测的自动泊车方法及系统

    公开(公告)号:CN113830078B

    公开(公告)日:2023-08-04

    申请号:CN202111214905.5

    申请日:2021-10-19

    Applicant: 同济大学

    Abstract: 本发明涉及一种基于停车位角点检测的自动泊车方法及系统,方法包括以下步骤:1)将停车位鸟瞰图输入特征检测器,获得角点、入口线以及边线的热力图;2)对角点热力图进行过滤,获得角点列表;3)对角点列表中的角点两两组合,计算每个角点组合中两个角点之间的距离,构成距离表;4)剔除距离表中不满足国标停车位尺寸要求的角点组合;5)剔除距离表中不满足椭圆限制条件的角点组合;6)根据入口线以及边线的热力图获取入口线和边线的朝向,剔除距离表中不满足与入口线以及边线的相对位置关系的角点组合;7)根据距离表中的角点组合确定停车位区域,根据停车位位置完成自动泊车。与现有技术相比,本发明具有计算复杂度低、部署难度低等优点。

    一种基于半监督模型的车辆多模态轨迹预测方法

    公开(公告)号:CN116331259A

    公开(公告)日:2023-06-27

    申请号:CN202310267999.5

    申请日:2023-03-16

    Applicant: 同济大学

    Inventor: 田炜 王松涛

    Abstract: 本发明涉及一种基于半监督模型的车辆多模态轨迹预测方法,包括:基于道路地图信息获取车辆的未来可能意图和可能行驶的道路及中心线,并对目标车辆周围的道路地图信息以及目标车辆周围的其他车辆历史轨迹进行编码,随后使用半监督模型,为未来可能的目标车辆轨迹模态生成伪标签,并使用伪标签对不同模态下的预测轨迹进行监督学习,实现车辆轨迹的多模态预测。与现有技术相比,本发明将多模态问题转化为半监督问题,并使用mean‑teacher半监督模型对模型进行训练,能够有效得提升车辆轨迹的预测精度,并能解决车辆轨迹预测中存在的数据不平衡问题,能够有效改善车辆预测结果中的模态分布、显著提升轨迹预测质量。

    一种基于道路场景的车道线和车道区域检测方法

    公开(公告)号:CN116152766A

    公开(公告)日:2023-05-23

    申请号:CN202310137313.0

    申请日:2023-02-20

    Applicant: 同济大学

    Inventor: 田炜 余先旺

    Abstract: 本发明涉及一种基于道路场景的车道线和车道区域检测方法,将车辆前视RGB图像处理为的高分辨率图像和低分辨率图像,将高分辨率图像和低分辨率图像均输入预先构建并训练好的检测网络中,得到车道线和车道的检测结果。检测网络包括:车道线初级特征提取模块:提取车道线的初级特征;车道初级特征提取模块:提取车道的初级特征;特征交互学习模块:将两个初级特征进行信息交互,生成交互特征;车道线解码器和车道解码器:分别对交互特征进行第一次解码,第一次解码后的特征输入对方解码器中,结合交互特征进行第二次解码;交互约束损失模块:将两个解码器第二次解码的解码特征进行约束。与现有技术相比,本发明能够同时精准检测车道线和车道。

Patent Agency Ranking