公开(公告)号：CN119205526A

公开(公告)日：2024-12-27

申请号：CN202411324505.3

申请日：2024-09-23

Applicant: 南京信息工程大学

Inventor： 陈海秀 ,  卢海涛 ,  房威志 ,  黄仔洁 ,  陈子昂 ,  顾启航

IPC: G06T5/50 ,  G06T7/10 ,  G06V10/40

Abstract: 本发明公开了一种基于多重特征提取的红外与可见光融合方法，多重特征提取网络由融合网络、语义分割网络、内容损失函数和语义损失函数组成；融合网络包括特征提取部分和特征重构部分，特征提取部分包括带有激活函数的卷积层、自适应梯度特征提取模块、空间通道重建卷积和残差梯度提取模块；特征重构部分由注意力机制和四个串联的卷积层构成；步骤如下：S1,将红外图像与可见光图像输入融合网络，通过特征提取和特征重构，生成融合图像；S2,将融合图像传递至分割网络进行分割；S3，将分割结果与语义标签进行对比，评估融合图像中所蕴含的语义信息的丰富性。本发明融合后的图像轮廓更清晰、目标更清楚，且指标有着显著提升。

公开(公告)号：CN117173064A

公开(公告)日：2023-12-05

申请号：CN202310918849.6

申请日：2023-07-24

Applicant: 南京信息工程大学

Inventor： 陈海秀 ,  房威志 ,  陆康 ,  黄仔洁 ,  陆成 ,  闵译凡 ,  陆赵远

IPC: G06T5/50 ,  G06T7/33 ,  G06N3/0455 ,  G06V10/25 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08 ,  G06T9/00

Abstract: 本发明公开了一种基于自编码器的红外与可见光图像融合算法，包括步骤如下：S1，通过短跨层连接与ECA注意力机制相结合的方式，构建编码器网络；S2，将配准后的红外与可见光图像输入进编码器网络中，并对编码器和解码器网络进行训练，得到满足条件的编码器；S3，对输入的图像，通过构建的融合网络进行特征融合，并对融合网络进行训练，得到满足条件的融合网络；S4，将融合后的图像通过解码器进行解码重建图。本发明融合后的图像评价指标提升显著，目标清晰、细节突出、轮廓明显，符合人类视觉感受。

公开(公告)号：CN117852590A

公开(公告)日：2024-04-09

申请号：CN202410059099.6

申请日：2024-01-15

Applicant: 南京信息工程大学

Inventor： 黄仔洁 ,  陈海秀 ,  陆康 ,  陆成 ,  何珊珊 ,  房威志 ,  卢海涛 ,  陈子昂

IPC: G06N3/0464 ,  G06T5/73 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种基于特征增强的双重注意力去雾网络实现方法，包括步骤：建立训练和测试的数据集；将训练数据集输入到基于特征增强的双重注意力去雾网络模型中；基于特征增强的双重注意力去雾网络的编码器，运用卷积操作、残差组模块、密集特征融合模块提取训练数据集的特征信息；基于特征增强的双重注意力去雾网络的双重注意力特征增强模块运用Ghost模块丰富特征，并结合改进的RFB结构捕捉不同尺度特征，融合通道注意力和空间注意力机制实现特征自优化；基于特征增强的双重注意力去雾网络的解码器运用密集特征融合模块、SOS Boosted结构、卷积操作恢复特征，输出除雾后的图像。本发明能使去雾后的图像更接近真实无雾图像。

公开(公告)号：CN117292244A

公开(公告)日：2023-12-26

申请号：CN202311352355.2

申请日：2023-10-18

Applicant: 南京信息工程大学

Inventor： 陈海秀 ,  房威志 ,  陆康 ,  黄仔洁 ,  陈嘉越 ,  褚羽婷

IPC: G06V10/86 ,  G06V10/44 ,  G06V10/82 ,  G06N3/0464 ,  G06V10/74 ,  G06V10/774

Abstract: 本发明公开了一种基于多层卷积的红外与可见光图像融合方法，网络结构包括编码网络、解码网络和多层卷积融合网络，所述编码器由多层卷积块和ECA注意力机制相互嵌套构成；所述解码器主要由解码块所构成，每个解码块由两个卷积层组成；所述多层卷积融合网络主要由梯度卷积块、下采样卷积块、卷积空间通道注意力机制以及若干卷积层构成；包括步骤如下：S1，将配准后的红外源图像和可见光源图像成对送入编码器中，由编码器提取源图像特征；S2，由多层卷积融合网络对源图像特征进行融合，得到融合后的特征；S3，解码器对融合后的特征进行重建，输出图像。本发明融合后的图像目标突出、细节清晰、轮廓明显、指标提升显著，符合人类视觉感受。

公开(公告)号：CN117274760A

公开(公告)日：2023-12-22

申请号：CN202311388503.6

申请日：2023-10-24

Applicant: 南京信息工程大学

Inventor： 陆成 ,  刘雪明 ,  房威志 ,  陆康

IPC: G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于多尺度混合变换器的红外与可见光图像融合方法，包括以下步骤：构建基于多尺度混合变换器的红外与可见光图像融合模型框架；模型框架包括辅助编码器、主编码器和解码器；辅助编码器提取红外与可见光的全局信息，主编码器提取红外与可见光的局部上下文信息，辅助编码器引导主编码器融合全局和局部信息，使得融合图像包含多尺度的源图像特征；将多尺度的源图像特征输入到解码器中，完成图像重建。本发明通过多尺度混合变换器引导卷积神经网络进行融合图像特征重建，有效地捕捉低级空间特征和高级语义上下文，从局部和全局进行建模，融合图像的热辐射信息和纹理细节表现能力更强。

公开(公告)号：CN117151999A

公开(公告)日：2023-12-01

申请号：CN202310947115.0

申请日：2023-07-31

Applicant: 南京信息工程大学

Inventor： 陈海秀 ,  何珊珊 ,  陆康 ,  房威志 ,  黄仔洁

IPC: G06T5/00 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于多尺度和多头注意力的图像去雨方法，属于图像去雨处理技术领域。包括如下步骤：S1、输入有雨图像；S2、运用通道注意块提取有雨图像的浅层特征映射；S3、将浅层特征映射输入到包含多尺度特征融合模块和多头注意力的四层下采样和上采样的编辑器‑解码器架构，得到深层特征；S4、将深层特征进行一次3×3卷积，得到重构残差图像；S5、将残差图像与有雨图像进行元素相加，得到恢复图像。本发明通过在编码器和解码器之间引入由GRU来连接不同尺度特征的跨尺度特征融合模块，这种方法增强了网络捕获和融合多尺度特征的能力，从而更好地保留图像细节信息以及将去除有雨图像的雨纹。

公开(公告)号：CN117058037A

公开(公告)日：2023-11-14

申请号：CN202311087936.8

申请日：2023-08-28

Applicant: 南京信息工程大学

Inventor： 陆康 ,  陈海秀 ,  何珊珊 ,  房威志 ,  黄仔洁 ,  陆成

IPC: G06T5/00 ,  G06N3/0475 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于改进生成对抗网络模型的水下图像修复方法，包括：获得待处理的水下图像；构建生成对抗网络模型，并利用水下图像样本数据集的图像样本训练生成对抗网络模型，将训练之后的生成对抗网络模型作为水下图像修复模型；将待处理的水下图像输入至水下图像修复模型中，利用生成器生成图像，完成水下图像的修复。本发明以生成对抗网络为基础框架，利用预处理通过输入白平衡图像的方式，来校正水下图像的色偏，结合多尺度结构和三重注意力设计多尺度三重注意力模块并引入到生成器中，实现了不同层次特征的通道维度和空间维度进行跨维度交互，使网络更好地学习水下图像特征和抑制噪声特征，提升了网络的特征提取能力。