公开(公告)号：CN117173525A

公开(公告)日：2023-12-05

申请号：CN202311138474.8

申请日：2023-09-05

Applicant: 北京交通大学

Inventor： 李艳凤 ,  李晓玲 ,  陈后金 ,  孙嘉 ,  陈紫微

IPC: G06V10/80 ,  G06V10/774 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明涉及一种通用型多模态图像融合方法，包括基于预处理网络将同一场景下精配准的多模态图像进行预处理得到初始图像、基于编码器网络将所述初始图像进行特征提取得到多尺度特征和基于解码器网络将所述多尺度特征进行特征重建得到融合图像，所述编码器网络包括i+1个依次连接的Transformer模块，且所述前i个Transformer模块后均连接有小波下采样模块，其中，i∈{1,2,3,4}；避免了对融合策略的依赖，更适合于不同的多模态图像融合任务，充分保留了源图像的低频结构，并加强了高频信息的感知，可以弥补单一模态信息表征不足的局限性，实现高质量多模态图像融合效果，增加图像融合方法的实用性和泛化性。

公开(公告)号：CN117173525B

公开(公告)日：2024-07-09

申请号：CN202311138474.8

申请日：2023-09-05

Applicant: 北京交通大学

Inventor： 李艳凤 ,  李晓玲 ,  陈后金 ,  孙嘉 ,  陈紫微

IPC: G06V10/80 ,  G06V10/774 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明涉及一种通用型多模态图像融合方法，包括基于预处理网络将同一场景下精配准的多模态图像进行预处理得到初始图像、基于编码器网络将所述初始图像进行特征提取得到多尺度特征和基于解码器网络将所述多尺度特征进行特征重建得到融合图像，所述编码器网络包括i+1个依次连接的Transformer模块，且所述前i个Transformer模块后均连接有小波下采样模块，其中，i∈{1,2,3,4}；避免了对融合策略的依赖，更适合于不同的多模态图像融合任务，充分保留了源图像的低频结构，并加强了高频信息的感知，可以弥补单一模态信息表征不足的局限性，实现高质量多模态图像融合效果，增加图像融合方法的实用性和泛化性。