公开(公告)号：CN117036895B

公开(公告)日：2023-12-19

申请号：CN202311303504.6

申请日：2023-10-10

Applicant: 之江实验室

Inventor： 张硕 ,  梅继林 ,  胡瑜

IPC: G06V10/80 ,  G06V10/26 ,  G06V10/40 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464

Abstract: 本发明公开一种基于相机与激光雷达点云融合的多任务环境感知方法，该方法提出一种基于2D卷积神经网络与3d稀疏卷积相结合的网络结构，该结构可以有效的融合图像信息与点云信息，并且对融合后的特征分别进行3d目标检测解码与点云语义分割解码，在同一网络中同时完成3D目标检测与激光雷达点云语义分割两项任务，有效降低了常规自动驾驶环境感知方案中多个任务分别由单独模型完成的计算冗余以及部署成本。在输入当前帧点云与图像的同时融合过去帧的点云信息来增强输入信息以提升模型效果，并在点云语义分割预测时使用哈希方法高效筛除过去帧点云对应的体素，仅输出当前帧点云的语义分割结果以避免运动模糊等情况。

公开(公告)号：CN117036895A

公开(公告)日：2023-11-10

申请号：CN202311303504.6

申请日：2023-10-10

Applicant: 之江实验室

Inventor： 张硕 ,  梅继林 ,  胡瑜

IPC: G06V10/80 ,  G06V10/26 ,  G06V10/40 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464

Abstract: 本发明公开一种基于相机与激光雷达点云融合的多任务环境感知方法，该方法提出一种基于2D卷积神经网络与3d稀疏卷积相结合的网络结构，该结构可以有效的融合图像信息与点云信息，并且对融合后的特征分别进行3d目标检测解码与点云语义分割解码，在同一网络中同时完成3D目标检测与激光雷达点云语义分割两项任务，有效降低了常规自动驾驶环境感知方案中多个任务分别由单独模型完成的计算冗余以及部署成本。在输入当前帧点云与图像的同时融合过去帧的点云信息来增强输入信息以提升模型效果，并在点云语义分割预测时使用哈希方法高效筛除过去帧点云对应的体素，仅输出当前帧点云的语义分割结果以避免运动模糊等情况。