公开(公告)号：CN118982663A

公开(公告)日：2024-11-19

申请号：CN202410988584.1

申请日：2024-07-23

Applicant: 厦门大学

Inventor： 张建寰 ,  张百达 ,  张陈涛 ,  陈炫 ,  徐周毅

IPC: G06V10/26 ,  G06V20/70 ,  G06V10/44 ,  G06V10/54 ,  G06V10/56 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/048

Abstract: 本发明公开了一种基于多任务指导的跳接融合正负障碍物分割方法，包括以下步骤：搭建基于多任务指导的跳接融合正负障碍物分割模型并进行训练；通过视差图/深度图计算表面法向量图，对表面法向量图和对应的RGB图像进行分辨率调整后，输入到训练好的跳接融合正负障碍物分割模型，得到正负障碍物分割结果；所述跳接融合正负障碍物分割模型采用法向量分支接收表面法向量图，输出法向量分割图用于训练过程的损失计算；采用RGB分支接收RGB图像，输出RGB分割图作为输出正负障碍物分割结果，RGB分割图参与训练过程的损失计算。本发明解决了多模态网络在模态间数据不一致的场景下融合效果不佳的问题，提高了模型对障碍物的识别能力。