公开(公告)号：CN116778288A

公开(公告)日：2023-09-19

申请号：CN202310725760.8

申请日：2023-06-19

Applicant: 燕山大学

Inventor： 刘爽 ,  牛少峰 ,  徐朋 ,  张龙庆 ,  司云博 ,  赵佳晗

IPC: G06V10/80 ,  G06V10/774 ,  G06V10/764 ,  G06V10/26 ,  G06V10/82 ,  G06V20/64 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种多模态融合目标检测系统及方法，所述检测系统包括获取模块、联合标定模块、数据预处理模块、预训练模块和目标检测模块，所述检测方法包括：获取激光雷达点云数据与相机图像数据；对两种数据进行坐标转换，完成空间对齐并获得点云在二维图像上的投影；对投影图像上的点集采用三角剖分，将图像分割成多个三角区域并得到投影点集的最小凸包；对每个三角形内部进行数据填充，将完成数据填充后的投影图进行滤波处理，得到致密的点云特征图；将点云特征图与RGB图像一同放入多模态特征融合深度学习网络进行特征提取并完成目标检测，本发明结合了目标的纹理与深度信息，提高了检测精度。