公开(公告)号：CN115205651A

公开(公告)日：2022-10-18

申请号：CN202211129024.8

申请日：2022-09-16

Applicant: 南京工业大学

Inventor： 缪小冬 ,  吴泽 ,  李伟文 ,  虞浒

IPC: G06V10/80 ,  G06V10/82 ,  G06V20/56 ,  G06V10/26

Abstract: 本发明公开了基于双模态融合的低见度道路目标的检测方法，包括步骤：S1、采集被检目标同一时刻同一道路场景的可见光模态图像与红外光模态图像；S2、通过基于语义分割的图像融合模型将可见光模态图像与红外光模态图像进行图像融合；S3、对融合图像进行道路目标标注与未标注处理，并对数据集进行划分；S4、基于划分的数据集建立双模态道路目标检测模型，通过该目标检测模型对低见度道路目标进行检测。本发明有效解决了低见度道路目标检测精度低、实时性低等问题。

公开(公告)号：CN117058646A

公开(公告)日：2023-11-14

申请号：CN202311310813.6

申请日：2023-10-11

Applicant: 南京工业大学

Inventor： 缪小冬 ,  李伟文 ,  顾曹雨

IPC: G06V20/56 ,  G06V10/77 ,  G06V10/80 ,  G06V10/25 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开一种基于多模态融合鸟瞰图的复杂道路目标检测方法，从不同实际驾驶场景中获取多视角相机图像与激光雷达点云，分别对图像与点云进行特征提取，并映射为鸟瞰图空间中的稠密向量，获取图像与点云融合的热力图与点云特征向量，实现查询向量初始化，利用空间多通道注意力机制计算出查询向量与图像特征向量的相似性，并将相关性最强的位置的查询向量输入前馈神经网络，对目标的中心坐标、三维尺寸与偏航角进行预测形成包围盒；基于采集的数据集建立目标检测模型，对道路上的车辆进行检测。本发明能够有效利用多模态特征使各个传感器在检测任务中彼此互补，提高在复杂路况中的检测精度与鲁棒性。

公开(公告)号：CN117058646B

公开(公告)日：2024-02-27

申请号：CN202311310813.6

申请日：2023-10-11

Applicant: 南京工业大学

Inventor： 缪小冬 ,  李伟文 ,  顾曹雨

IPC: G06V20/56 ,  G06V10/77 ,  G06V10/80 ,  G06V10/25 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开一种基于多模态融合鸟瞰图的复杂道路目标检测方法，从不同实际驾驶场景中获取多视角相机图像与激光雷达点云，分别对图像与点云进行特征提取，并映射为鸟瞰图空间中的稠密向量，获取图像与点云融合的热力图与点云特征向量，实现查询向量初始化，利用空间多通道注意力机制计算出查询向量与图像特征向量的相似性，并将相关性最强的位置的查询向量输入前馈神经网络，对目标的中心坐标、三维尺寸与偏航角进行预测形成包围盒；基于采集的数据集建立目标检测模型，对道路上的车辆进行检测。本发明能够有效利用多模态特征使各个传感器在检测任务中彼此互补，提高在复杂路况中的(56)对比文件张何晴.注意力机制在点云和图像融合目标检测中的研究《.万方数据知识服务平台》.2023,正文第1章第1.2.3节、第2章第2.2.4节、第3章第3.2-3.5节、第4章第4.1-4.3节.Yin Zhou等.VoxelNet: End-to-EndLearning for Point Cloud Based 3D ObjectDetectio《.arXiv:1711.06396v1》.2017,1-10.Yanlong Yang等.RaLiBEV: Radar andLiDAR BEV Fusion Learning for Anchor BoxFree Object Detection Systems《.arXiv:2211.06108v3》.2023,1-15.吴泽等.基于红外可见光融合的低能见度道路目标检测算法《.红外技术》.2022,第44卷(第11期),1154-1160.