一种基于多尺度重构Transformer与多维注意力的红外和可见光图像融合方法

    公开(公告)号:CN118134779A

    公开(公告)日:2024-06-04

    申请号:CN202410291558.3

    申请日:2024-03-14

    Applicant: 南开大学

    Abstract: 本发明公开一种基于多尺度重构Transformer与多维注意力的红外和可见光图像融合方法,包括两个阶段:第一阶段为训练阶段,构建基于UNet++结构的编解码器并训练,利用多尺度重构Transformer补偿下采样时的全局依赖信息,将高维注意力加入到编码器横向密集连接的卷积块中,强化其对有效信息的关注能力;第二阶段为融合阶段,将融合模块添加到编码器和解码器之间,使用空间和通道注意力加权融合编码器特征,解码器重构出融合图像;本发明能够增强特征提取与重构能力,保留图像更多纹理细节;与现有方法相比,在信息熵、互信息、融合质量、标准差和视觉保真度这五种常用融合图像指标上具有优势。

Patent Agency Ranking