公开(公告)号：CN116958922A

公开(公告)日：2023-10-27

申请号：CN202310770675.3

申请日：2023-06-27

Applicant: 清华大学

Inventor： 张新钰 ,  沈思甜 ,  李骏 ,  张世焱 ,  国纪龙 ,  吴凡

IPC: G06V20/56 ,  G06V10/44 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08 ,  G06T9/00

Abstract: 本申请提供一种不良光照场景下的智能驾驶可解释多模态感知方法，涉及智能驾驶技术领域，所述方法包括：获取目标场景的RGB图像以及3D点云数据；利用预先训练完成的第一信源编码模型对3D点云数据进行压缩处理，得到压缩后的3D点云数据；利用预先训练完成的第二信源编码模型对RGB图像进行压缩，得到压缩后的RGB图像；利用预先训练完成的基于多头注意力机制的多模态融合模型对压缩后的3D点云数据和压缩后的RGB图像进行融合处理，得到融合特征；将融合特征与压缩后的3D点云数据的第一点云特征进行相加，得到第二点云特征；利用三维检测头对第二点云特征进行处理，得到目标检测结果。本申请提高了车辆遮挡以及光线骤变等特殊场景下的目标检测的精度。