公开(公告)号：CN116704274A

公开(公告)日：2023-09-05

申请号：CN202310823416.2

申请日：2023-07-06

Applicant: 杭州电子科技大学

Inventor： 彭冬亮 ,  刘克伟 ,  李焘 ,  谷雨 ,  陈华杰

IPC: G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及基于空间相关性注意力的红外和可见光图像融合方法，包括以下步骤：S1：读取红外和可见光图像；S2：将红外和可见光图像分别输入编码器提取4种尺度的深度特征；S3：将红外的深度特征和可见光图像的深度特征输入融合网络；S4：在融合网络中，对输入融合网络的相应尺度的红外图和可见光图像特征计算空间相关性注意力权重并将空间相关性注意力权重作用于红外和可见光图像的特征；S5：在融合网络中，对空间注意力作用后的特征利用交叉残差网络进一步融合；S6：根据融合特征构建融合图像；该方法针有效解决了红外和可见光图像像素级融合任务中细粒度信息丢失的问题。