公开(公告)号：CN116798016A

公开(公告)日：2023-09-22

申请号：CN202310649586.3

申请日：2023-06-02

Applicant: 苏州科技大学

Inventor： 金宇锋 ,  刘仪婷 ,  李兴通 ,  杨易堃 ,  薛俊 ,  钱星铭 ,  陶重犇

IPC: G06V20/58 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08 ,  G06V10/80

Abstract: 本发明提供了一种用于自动驾驶的多模态三维目标检测方法、系统及存储介质，包括如下步骤：步骤一，特征信息获取；步骤二：通过Transformer双融合特征区域建议网络，生成初始候选框；步骤三，深度特征信息增强：通过深度信息补全机制，预测密集深度信息和提取特征语义信息；步骤四，多模态特征融合：采用动态交叉注意力机制来获得不同模态间的相关性，并预测相关权重，再通过对特征进行加权来获得融合特征。本发明的有益效果是：本发明融合了激光雷达和摄像头两种传感器的优势，实现自动驾驶领域中的动态多目标检测技术，能够对车辆、行人、骑行的人等多类目标进行准确的识别和定位，该技术兼顾了实时性，能够应用在实际的场景中。

公开(公告)号：CN116665185A

公开(公告)日：2023-08-29

申请号：CN202310694348.4

申请日：2023-06-13

Applicant: 苏州科技大学

Inventor： 刘仪婷 ,  李兴通 ,  薛俊 ,  杨易堃 ,  钱星铭 ,  肖昊 ,  陶重犇

IPC: G06V20/58 ,  G06V10/40 ,  G06V10/82 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/08 ,  G06N3/048 ,  G06N3/047 ,  G06V10/764

Abstract: 本发明提供了一种用于自动驾驶的三维目标检测方法、系统及存储介质，包括：步骤一：在体素特征提取分支中，使用带有注意力机制的图卷积网络提取局部邻域和上下文信息的多尺度体素特征；步骤二：图像特征提取分支采用一种密集连接的2D卷积网络多层次叠加聚合将更浅和更深的层相聚合起来，引入金字塔叠加结构对多尺度图像特征进行聚合；步骤三：基于体素特征提取分支和图像特征提取分支提取的特征，通过多模态迭代互注意力融合来融合多尺度的图像特征和体素特征，最后基于多模态特征进行区域提案和分类回归实现3D目标检测。本发明的优势：本发明能够对远距离的车辆、行人、骑行的人等目标进行准确的识别和定位，能够应用在实际的场景中。

公开(公告)号：CN116664856A

公开(公告)日：2023-08-29

申请号：CN202310694347.X

申请日：2023-06-13

Applicant: 苏州科技大学

Inventor： 李兴通 ,  薛俊 ,  刘仪婷 ,  杨易堃 ,  洪泽 ,  钱星铭 ,  肖昊 ,  陶重犇

IPC: G06V10/40 ,  G06V10/82 ,  G06V10/80 ,  G06V10/764 ,  G06V20/58 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明提供了一种基于点云‑图像多交叉混合的三维目标检测方法、系统及存储介质，包括如下步骤：步骤一：分别对图像和原始点云提取特征，通过坐标细化模块将原始点位置编码与图像特征相结合，将采样点迭代地向边界框移动，增强图像与点云间的耦合度；步骤二：在体素鸟瞰特征提取过程中，将体素内的区域细粒度信息集成到全局特征中，用于补充Transformer缺乏局部信息，获得了更广感受野的鸟瞰特征图。本发明的优势：本发明融合了激光雷达和摄像头两种传感器的优势，实现自动驾驶领域中的3D目标检测的技术，能够对车辆、行人、骑行的人等目标进行准确的识别和定位，能够应用在实际的场景中。