公开(公告)号：CN118485824A

公开(公告)日：2024-08-13

申请号：CN202410425050.8

申请日：2024-04-09

Applicant: 华北水利水电大学

Inventor： 张蕊 ,  金玮 ,  黄官龙 ,  郭欣 ,  包丰璞

IPC: G06V10/26 ,  G06V10/56 ,  G06V10/80 ,  G06V10/82 ,  G06V20/70 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/084 ,  G06V20/00

Abstract: 本发明提供一种基于RGB‑D特征融合的复杂室内场景语义分割方法。该方法包括：获取同一室内场景下的RGB图像和深度图像；将RGB图像和深度图像输入至语义分割模型，得到语义分割结果；语义分割模型包括双分支特征提取模块DFEM、编码器、多尺度上下文聚合和解码器；编码器包括堆叠的多个双向注意力特征融合模块BAFFM；DFEM提取RGB图像的RGB特征和深度图像的深度特征；堆叠的多个BAFFM分别对不同尺度的RGB特征和深度特征进行逐级融合，并将除最后一个BAFFM之外的每个BAFFM融合后的特征图跳跃连接至解码器，将最后一个BAFFM融合后的特征图输入至多尺度ASPP模块；解码器根据ASPP模块的输出和除最后一个BAFFM之外的每个BAFFM融合后的特征图进行逐级恢复，最终得到语义分割结果。