公开(公告)号：CN118485835B

公开(公告)日：2024-10-01

申请号：CN202410946977.6

申请日：2024-07-16

Applicant: 杭州电子科技大学

Inventor： 李平 ,  唐晨 ,  平晨昊

IPC: G06V10/26 ,  G06V10/40 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明公开了基于模态分歧差异融合的多光谱图像语义分割方法。本发明方法首先使用双流特征提取器获得RGB和Thermal图像特征；接着构建考虑模态分歧的四层差异融合模块，对语义分歧区域和语义一致区域进行差异化模态融合；再构建前景分割头获得前景掩膜，通过动态全连接解码器和语义分割头获得预测掩膜。本发明方法通过差异化融合建立语义一致和语义分歧区域的模态交互关系，刻画了高层与低层特征的语义关联，既能充分挖掘模态互补信息、降低模型计算量，又能准确定位细小物体和轮廓边缘，从而提升多光谱语义分割方法的性能。本方法能解决模型对于小物体和边界捕捉能力弱的问题，可应用于影视创作、服务机器人、智能巡检等实际场景。

公开(公告)号：CN118485835A

公开(公告)日：2024-08-13

申请号：CN202410946977.6

申请日：2024-07-16

Applicant: 杭州电子科技大学

Inventor： 李平 ,  唐晨 ,  平晨昊

IPC: G06V10/26 ,  G06V10/40 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明公开了基于模态分歧差异融合的多光谱图像语义分割方法。本发明方法首先使用双流特征提取器获得RGB和Thermal图像特征；接着构建考虑模态分歧的四层差异融合模块，对语义分歧区域和语义一致区域进行差异化模态融合；再构建前景分割头获得前景掩膜，通过动态全连接解码器和语义分割头获得预测掩膜。本发明方法通过差异化融合建立语义一致和语义分歧区域的模态交互关系，刻画了高层与低层特征的语义关联，既能充分挖掘模态互补信息、降低模型计算量，又能准确定位细小物体和轮廓边缘，从而提升多光谱语义分割方法的性能。本方法能解决模型对于小物体和边界捕捉能力弱的问题，可应用于影视创作、服务机器人、智能巡检等实际场景。