公开(公告)号：CN117274749A

公开(公告)日：2023-12-22

申请号：CN202311561947.5

申请日：2023-11-22

Applicant: 电子科技大学

Inventor： 赵洋 ,  金一苇 ,  程洪

IPC: G06V10/774 ,  G06V10/25 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明属于自动驾驶技术领域，具体为一种基于4D毫米波雷达和图像的融合3D目标检测方法。包括获取样本数据集，样本数据集包括4D毫米波雷达的点云和单目相机图像；基于样本数据集构建端到端3D目标检测网络，并进行训练；计算损失函数值，根据计算出的损失函数值反向传播更新端到端3D目标检测网络参数；利用更新好的端到端3D目标检测网络进行目标检测。本发明利用多模态数据之间的冗余性提升系统的鲁棒性，利用毫米雷达数据的高度稀疏性提升3D目标检测处理速率，并在此过程中，对4D毫米波雷达进行速度维度的特征工程处理，来保证自动驾驶场景下3D目标检测的精度。

公开(公告)号：CN115019270B

公开(公告)日：2024-04-19

申请号：CN202210610731.2

申请日：2022-05-31

Applicant: 电子科技大学

Inventor： 李曙光 ,  赵洋 ,  刘备 ,  郑珂 ,  金一苇 ,  程洪

IPC: G06V20/56 ,  G06V10/40 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/09

Abstract: 本发明公开了一种基于稀疏点云先验信息的自动驾驶夜间目标检测方法，属于自动驾驶环境感知技术领域。本发明的目标检测方法先通过多模态特征融合，构造出RGB‑D四通道数据用于提取高维融合特征，以此实现多模态特征融合；再以投影点映射到特征图的特征点为中心或右侧中心，按照三种比例三种尺寸各自生成9种lidar anchors；将RGB anchors与lidaranchors作为建议区域，对建议区域进行回归与分类从而完成目标检测任务。通过特征提取时融合点云与图像的多模态特征弥补视觉特征缺失的不足。本发明所提出的方法在光线变化条件下具有较好的鲁棒性，很好地满足了自动驾驶多场景感知的需求。

公开(公告)号：CN115187955A

公开(公告)日：2022-10-14

申请号：CN202210669075.3

申请日：2022-06-14

Applicant: 电子科技大学

Inventor： 李曙光 ,  刘备 ,  赵洋 ,  郑珂 ,  金一苇 ,  程洪

IPC: G06V20/58 ,  G06V20/64 ,  G06V10/762 ,  G06V10/80

Abstract: 本发明公开了一种基于视觉图像与稀疏点云后融合的目标定位方法，属于图像识别领域。本发明采用图像和稀疏点云数据融合的方式识别目标，将图像2D检测结果与稀疏点云聚类3D结果通过视觉投影进行目标级融合，使本发明融合了3D精度高的优点，2D检测速度快的特点，以2D检测结果监督3D检测输出，具有识别速度快，精度高的优点。本发明点云检测采用点云实例分割与无监督聚类方法获得物体3D位置信息；通过视觉投影后融合2D检测信息与3D位置信息完成目标定位任务。该方法在实际交通场景中对于不同类别目标检测精度均在90％以上，定位误差在0.1m，很好地满足了自动驾驶目标定位的需求。

公开(公告)号：CN117274749B

公开(公告)日：2024-01-23

申请号：CN202311561947.5

申请日：2023-11-22

Applicant: 电子科技大学

Inventor： 赵洋 ,  金一苇 ,  程洪

IPC: G06V10/774 ,  G06V10/25 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明属于自动驾驶技术领域，具体为一种基于4D毫米波雷达和图像的融合3D目标检测方法。包括获取样本数据集，样本数据集包括4D毫米波雷达的点云和单目相机图像；基于样本数据集构建端到端3D目标检测网络，并进行训练；计算损失函数值，根据计算出的损失函数值反向传播更新端到端3D目标检测网络参数；利用更新好的端到端3D目标检测网络进行目标检测。本发明利用多模态数据之间的冗余性提升系统的鲁棒性，利用毫米雷达数据的高度稀疏性提升3D目标检测处理速率，并在此过程中，对4D毫米波雷达进行速度维度的特征工程处理，来保证自动驾驶场景下3D目标检测的精度。

公开(公告)号：CN115019270A

公开(公告)日：2022-09-06

申请号：CN202210610731.2

申请日：2022-05-31

Applicant: 电子科技大学

Inventor： 李曙光 ,  赵洋 ,  刘备 ,  郑珂 ,  金一苇 ,  程洪

IPC: G06V20/56 ,  G06V10/40 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于稀疏点云先验信息的自动驾驶夜间目标检测方法，属于自动驾驶环境感知技术领域。本发明的目标检测方法先通过多模态特征融合，构造出RGB‑D四通道数据用于提取高维融合特征，以此实现多模态特征融合；再以投影点映射到特征图的特征点为中心或右侧中心，按照三种比例三种尺寸各自生成9种lidar anchors；将RGB anchors与lidaranchors作为建议区域，对建议区域进行回归与分类从而完成目标检测任务。通过特征提取时融合点云与图像的多模态特征弥补视觉特征缺失的不足。本发明所提出的方法在光线变化条件下具有较好的鲁棒性，很好地满足了自动驾驶多场景感知的需求。

公开(公告)号：CN116596983A

公开(公告)日：2023-08-15

申请号：CN202310577906.9

申请日：2023-05-22

Applicant: 电子科技大学

Inventor： 李曙光 ,  郑珂 ,  金一苇

IPC: G06T7/50 ,  G06V10/80 ,  G06V10/26 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明属于自动驾驶技术领域，具体为一种基于语义与多尺度信息的实时深度估计方法。在训练时，采用特征蒸馏的方式将预先训练好的语义分割网络预测结果迁移至深度估计网络中，迫使训练过程中深度估计网络学习到语义信息。在训练完成后，去除语义分割网络，仅以单分支的结构实现与多任务架构相同的性能。通过探索多尺度信息在深度估计任务中的作用，假设较大尺度的特征适用于目标边缘的估计，小尺度特征适用于目标内部的大范围区域估计，设计多尺度融合模块。通过多尺度融合模块将不同尺度的解码器特征映射为对应尺度的深度图与置信度图，并对进行上采样重建、融合，得到最终深度图，实现估计精度提升。