公开(公告)号：CN118506351A

公开(公告)日：2024-08-16

申请号：CN202410568705.7

申请日：2024-05-09

Applicant: 南京大学

Inventor： 郭延文 ,  柴博宇 ,  过洁

IPC: G06V20/64 ,  G01B11/24 ,  G06V10/82 ,  G06V10/80 ,  G06T7/80 ,  G06T3/4007 ,  G06N3/0464

Abstract: 本发明提供了一种图像信息辅助的三维物体检测方法，包括如下步骤：步骤1，对包含待检测三维物体的点云及其对应的图像分别进行特征提取；步骤2，基于分块自注意力机制对点云和图像的特征进行融合，得到融合后的多模态特征；步骤3，基于融合后的多模态特征，生成前景点掩码并以此进行偏重前景的多尺度特征提取，得到点云在不同分辨率下的特征图；步骤4，生成目标检测提案，即基于三最近邻插值方法对不同分辨率下的特征图进行插值，使用多层感知机将插值得到的特征与多模态特征融合，并送入两阶段的检测模块，从而生成目标检测提案，完成所述的图像信息辅助的三维物体检测。