公开(公告)号：CN117788823A

公开(公告)日：2024-03-29

申请号：CN202311832392.3

申请日：2023-12-28

Applicant: 桂林电子科技大学

Inventor： 曾启林 ,  成宇豪 ,  彭智勇

IPC: G06V10/26 ,  G01S7/48 ,  G01S17/86 ,  G06V10/40 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06V20/56 ,  G06V20/70 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/096

Abstract: 本发明提供的是一种基于Transformer激光雷达点云和相机影像信息融合的语义分割方法，所述方法利用激光雷达点云和RGB影像信息的多模态数据，提取跨模态特征用于计算机视觉的语义分割任务。本发明的贡献在于训练阶段通过基于立方窗口和辐射窗口划分的多头注意力动态选择机制提取多尺度近密远疏的激光雷达点云特征，通过窗口重叠区域编码的多头注意力机制提取多尺度影像特征，然后以多尺度特征融合及知识蒸馏的方法将影像的先验知识有效地融入到激光雷达网络中，并在推理阶段抛弃相机流分支和多尺度特征融合‑知识蒸馏模块，仅使用激光雷达流分支，能有效提升网络的推理速度。

公开(公告)号：CN117635947A

公开(公告)日：2024-03-01

申请号：CN202311679841.5

申请日：2023-12-07

Applicant: 桂林电子科技大学

Inventor： 曾启林 ,  成宇豪 ,  彭智勇

IPC: G06V10/26 ,  G06V10/52 ,  G06V10/764 ,  G06V10/771 ,  G06V10/80 ,  G06V10/82 ,  G06V10/77 ,  G06N3/045 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明提供的是一种室外复杂场景的RGB‑D语义分割算法，所述算法利用RGB影像信息和深度图信息的多模态数据，提取并融合多模态特征用于计算机视觉中的语义分割任务。该算法首先将深度图转换为HHA图并使用多级改进Transformer特征提取模块提取HHA图的多尺度特征，然后通过RGB‑D融合模块将各尺度HHA特征图分别融入到对应尺度的RGB影像特征图中，最后通过对各级融合特征进行解码并分类输出每个像素点的类别。本发明可用于智能驾驶汽车对复杂室外场景。