公开(公告)号：CN117422971A

公开(公告)日：2024-01-19

申请号：CN202311262346.4

申请日：2023-09-27

Applicant: 北京工业大学

Inventor： 任坤 ,  李盼 ,  任福荣 ,  张天阳

IPC: G06V10/82 ,  G01S13/86 ,  G06V10/80 ,  G06V10/42 ,  G06V10/44 ,  G06N3/0464 ,  G06N3/0455

Abstract: 本发明提供一种基于跨模态注意力机制融合的双模态目标检测方法与系统包括：获取待检测图像和毫米波雷达数据；对毫米波雷达数据进行预处理；将待检测图像和预处理后的毫米波雷达数据输入训练后的基于跨模态注意力机制融合的双模态目标检测模型中，得到检测结果；其中，基于跨模态注意力机制融合的双模态目标检测模型分别利用基于点云Transformer和稀疏编码卷积的雷达特征提取网络和CSPDarkNet53图像特征提取网络提取雷达特征和图像特征，在PANet输入、输出端不同尺度层级通过跨模态注意力复合特征融合模块融合雷达特征和图像特征，最后将融合特征输入到YOLOv5‑X的检测网络中进行检测并经过NMS处理得到检测结果；在nuScenes数据集下验证了本发明的有效性。