公开(公告)号：CN119295878A

公开(公告)日：2025-01-10

申请号：CN202411395374.8

申请日：2024-10-08

Applicant: 北京理工大学

Inventor： 徐彬 ,  王力 ,  冯凯琦 ,  方铖 ,  樊伟 ,  李颖 ,  张一博

IPC: G06V10/80 ,  G06V10/40 ,  G06V10/82 ,  G06N3/0499 ,  G06N3/08 ,  G06N3/0455

Abstract: 本申请提供基于位置编码的多模态鸟瞰图融合方法及装置，其中的方法包括：获取路口目标场景的点云数据和多个RGB图像；利用三维骨干网络对点云数据进行处理，得到第一特征图，对第一特征图进行高度维度特征压缩，得到第一BEV特征图；对每个RGB图像进行处理，得到BEV特征图，将所有RGB图像的BEV特征图进行叠加，得到第二BEV特征图；利用特征查询模型对级联的第一BEV特征图和第二BEV特征图进行处理，得到第一特征查询结果；利用调制位置编码注意力网络对第一特征查询结果、第一BEV特征图和第二BEV特征图进行处理，得到第二特征查询结果。本申请有效地融合了多源信息，使两种数据优势互补，提高了后续3D目标检测任务的精度。