公开(公告)号：CN115546489B

公开(公告)日：2023-05-12

申请号：CN202211471454.8

申请日：2022-11-23

Applicant: 南京理工大学

Inventor： 王川 ,  韩静 ,  陈霄宇 ,  瞿超 ,  徐启涵 ,  蒋韫骋

IPC: G06V10/26 ,  G06V10/80 ,  G06V10/82 ,  G06V20/70 ,  G06V10/143

Abstract: 本发明公开了一种基于跨模态特征强化与交互的多模态图像语义分割方法，包括：将对应的可见光图像和红外图像作为输入，采用双分支编码结构分别提取两种图像特征，在各个编码阶段，首先通过特征交互模块对提取的两种图像特征进行增强和交互，并将交互之后的特征送入下一阶段的编码模块，而后通过特征融合模块将经过增强和交互之后的特征进行融合，并将融合特征送入对应阶段的解码模块，最后采用上采样和跳层连接逐级解码，获得多模态图像语义分割结果。本发明从编码网络的数据流出发，利用注意力机制增强各自模态的有效特征，将增强后的特征与另一模态的特征交互，对单一模态的信息进行补充，最大程度利用跨模态信息解析场景。

公开(公告)号：CN115546489A

公开(公告)日：2022-12-30

申请号：CN202211471454.8

申请日：2022-11-23

Applicant: 南京理工大学

Inventor： 韩静 ,  王川 ,  陈霄宇 ,  瞿超 ,  徐启涵 ,  蒋韫骋

IPC: G06V10/26 ,  G06V10/80 ,  G06V10/82 ,  G06V20/70 ,  G06V10/143

Abstract: 本发明公开了一种基于跨模态特征强化与交互的多模态图像语义分割方法，包括：将对应的可见光图像和红外图像作为输入，采用双分支编码结构分别提取两种图像特征，在各个编码阶段，首先通过特征交互模块对提取的两种图像特征进行增强和交互，并将交互之后的特征送入下一阶段的编码模块，而后通过特征融合模块将经过增强和交互之后的特征进行融合，并将融合特征送入对应阶段的解码模块，最后采用上采样和跳层连接逐级解码，获得多模态图像语义分割结果。本发明从编码网络的数据流出发，利用注意力机制增强各自模态的有效特征，将增强后的特征与另一模态的特征交互，对单一模态的信息进行补充，最大程度利用跨模态信息解析场景。