公开(公告)号：CN118397415A

公开(公告)日：2024-07-26

申请号：CN202410572890.7

申请日：2024-05-10

Applicant: 湘潭大学

Inventor： 朱江 ,  陈寒梅 ,  李建奇 ,  杜瑞 ,  吴成中 ,  李赛斯 ,  余洪山

IPC: G06V10/80 ,  G06V10/26 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/09

Abstract: 本发明公开了一种跨模态图像融合的全时复杂场景理解方法，本发明方法将同一场景的可见光和另一模态图像成对输入到训练好的语义分割模型，得到图像中各类前景的分割结果，该分割模型包括：双分支主干特征提取网络Segformer、跨模态交互模块、语义信息增强模块和特征补偿模块。同时，在网络的训练阶段采用多任务学习监督，提高网络的性能。本发明能够有效地利用可见光和多模态图像的互补特征，减少不同模态之间的差异，在保持模型较小参数量的同时，精度高、通用性好。

公开(公告)号：CN116912485A

公开(公告)日：2023-10-20

申请号：CN202310549430.8

申请日：2023-05-16

Applicant: 湘潭大学

Inventor： 朱江 ,  陈寒梅 ,  张杰 ,  许海霞 ,  李赛斯 ,  田淑娟 ,  李艳春

IPC: G06V10/26 ,  G06V10/44 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08 ,  G06T7/10

Abstract: 本发明公开了一种基于热感图像和可见光图像特征融合的场景语义分割方法，本发明方法将同一场景的可见光和热感图像成对输入到训练好的语义分割模型中得到图像中物体的分割结果，该分割模型包括：双分支主干特征提取网络Segfomer，用于对输入的数据进行全局特征的提取；辅助特征选择模块，用于对主干特征提取网络提取的层级特征进行两个模态之间相互补充特征信息；跨模态特征融合模块，进行模态间的特征进一步融合，得到一个丰富的语义信息特征；逐级特征融合解码器模块，实现解码器的精细化上采样；多损失监督模块，用于监督模型的学习。本发明能够有效地利用可见光图像和热感图像的特点，挖掘它们之间的互补特征，在保持模型较小参数量的同时，有效提高场景语义分割模型的分割精度和泛化能力。