公开(公告)号：CN111709902B

公开(公告)日：2023-04-18

申请号：CN202010436324.5

申请日：2020-05-21

Applicant: 江南大学

Inventor： 罗晓清 ,  张战成 ,  刘子闻

IPC: G06T5/50 ,  G06V10/74 ,  G06V10/80 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 基于自注意力机制的红外和可见光图像融合方法，属于图像融合领域。主要解决图像融合时忽略人眼主观感受的重要性问题。其实现步骤是：1)搭建基于自注意力机制的深度自编码网络结构，以端到端的方式对特征提取，融合规则和重构规则同时学习；2)将编码层不同分支的特征图输入自注意力机制获得注意力图，并采用均值融合策略获得输出特征图；3)设计内容损失和细节损失两类损失函数，分别用于突出红外目标信息，锐化边缘和更好地利用源图像中的纹理细节；4)训练神经网络，并对自注意力机制进行可视化以调整网络结构和损失函数。本发明能通过学习注意力图以最佳方式分配注意力，获取图像关键信息，改善视觉效果，提高融合图像的质量。

公开(公告)号：CN110084288A

公开(公告)日：2019-08-02

申请号：CN201910288070.4

申请日：2019-04-11

Applicant: 江南大学

Inventor： 罗晓清 ,  张战成 ,  刘子闻 ,  张宝成

IPC: G06K9/62 ,  G06N3/04

Abstract: 本发明公开了一种基于自学习神经单元的图像融合方法，属于图像融合领域。其实现步骤是：1)将融合图像进入Mask R-CNN网络进行处理，得到相应的掩码图像，掩码矩阵，类别信息，得分信息；2)搭建自编码网络，利用卷积神经网络CNN进行图像特征的选取，融合，重构；3)对融合层的卷积权重进行稀疏赋值，加入最小/最大范数权值约束与L1正则项；4)分别计算融合图像与源图像的整体结构相似度SSIM，区域结构相似度SSIM与互信息MI；5)训练神经网络，调整参数。本发明能通过学习网络参数以最佳方式联合获得水平测量与权重分配，增强图像清晰度，改善视觉效果，提高融合图像的质量。

公开(公告)号：CN110084288B

公开(公告)日：2023-04-18

申请号：CN201910288070.4

申请日：2019-04-11

Applicant: 江南大学

Inventor： 罗晓清 ,  张战成 ,  刘子闻 ,  张宝成

IPC: G06V10/80 ,  G06V10/82 ,  G06V10/74 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种基于自学习神经单元的图像融合方法，属于图像融合领域。其实现步骤是：1)将融合图像进入Mask R‑CNN网络进行处理，得到相应的掩码图像，掩码矩阵，类别信息，得分信息；2)搭建自编码网络，利用卷积神经网络CNN进行图像特征的选取，融合，重构；3)对融合层的卷积权重进行稀疏赋值，加入最小/最大范数权值约束与L1正则项；4)分别计算融合图像与源图像的整体结构相似度SSIM，区域结构相似度SSIM与互信息MI；5)训练神经网络，调整参数。本发明能通过学习网络参数以最佳方式联合获得水平测量与权重分配，增强图像清晰度，改善视觉效果，提高融合图像的质量。

公开(公告)号：CN111709902A

公开(公告)日：2020-09-25

申请号：CN202010436324.5

申请日：2020-05-21

Applicant: 江南大学

Inventor： 罗晓清 ,  张战成 ,  刘子闻

IPC: G06T5/50 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 基于自注意力机制的红外和可见光图像融合方法，属于图像融合领域。主要解决图像融合时忽略人眼主观感受的重要性问题。其实现步骤是：1)搭建基于自注意力机制的深度自编码网络结构，以端到端的方式对特征提取，融合规则和重构规则同时学习；2)将编码层不同分支的特征图输入自注意力机制获得注意力图，并采用均值融合策略获得输出特征图；3)设计内容损失和细节损失两类损失函数，分别用于突出红外目标信息，锐化边缘和更好地利用源图像中的纹理细节；4)训练神经网络，并对自注意力机制进行可视化以调整网络结构和损失函数。本发明能通过学习注意力图以最佳方式分配注意力，获取图像关键信息，改善视觉效果，提高融合图像的质量。