-
公开(公告)号:CN113781377B
公开(公告)日:2024-08-13
申请号:CN202111292602.5
申请日:2021-11-03
Applicant: 南京理工大学
IPC: G06T5/50 , G06V10/774 , G06V10/82 , G06N3/0464 , G06V10/26 , G06N3/045 , G06N3/0475 , G06N3/094
Abstract: 本发明涉及基于对抗性语义引导与感知的红外和可见光图像融合方法,包括:1.生成融合网络ASGGAN,2.学习优化,利用分割网络作为判别器,分割网络和融合网络形成生成对抗网络关系,分割网络和融合网络在对抗学习的过程中不断优化,3.获取全局性和局部性的GAN网络loss函数,4.加入分割label,加入分割label作为判别器先验优化融合上的空间选择,5.综合评价。本发明利用分割网络来迁移语义信息到图像融合的过程,增强了融合图像的目标显著性;利用U型判别器,保留图像的全局结构特征和局部纹理,使图像拥有自然观感。
-
公开(公告)号:CN113724139B
公开(公告)日:2022-03-15
申请号:CN202111287047.7
申请日:2021-11-02
Applicant: 南京理工大学
Abstract: 本发明涉及基于二重判别器生成对抗网络的无监督的红外单图超分,包括1.构造学习框架,构造一个非配对的无监督学习框架,包括生成对抗网络和内容约束模块,生成对抗网络包括生成器和判别器,学习框架从图像中提取红外特征,生成逼真的超分红外图像;2.搭建二重判别器结构,3.模块联合,4.创建数据集。本发明使超分图像具有噪声小、边缘纹理清晰、对比度高的优点;通过超分图像的退化图像和预先插值放大的图像保留、维持低频信息;利用风格‑纹理双判别器在对图像的高频信息进行重构的同时,保持整体图像风格的和谐统一和避免异常像素的产生;改进判别器结构,利用像素级别的真假判别矩阵增强对纹理细节信息的重建。
-
公开(公告)号:CN113724139A
公开(公告)日:2021-11-30
申请号:CN202111287047.7
申请日:2021-11-02
Applicant: 南京理工大学
Abstract: 本发明涉及基于二重判别器生成对抗网络的无监督的红外单图超分,包括1.构造学习框架,构造一个非配对的无监督学习框架,包括生成对抗网络和内容约束模块,生成对抗网络包括生成器和判别器,学习框架从图像中提取红外特征,生成逼真的超分红外图像;2.搭建二重判别器结构,3.模块联合,4.创建数据集。本发明使超分图像具有噪声小、边缘纹理清晰、对比度高的优点;通过超分图像的退化图像和预先插值放大的图像保留、维持低频信息;利用风格‑纹理双判别器在对图像的高频信息进行重构的同时,保持整体图像风格的和谐统一和避免异常像素的产生;改进判别器结构,利用像素级别的真假判别矩阵增强对纹理细节信息的重建。
-
公开(公告)号:CN113034452B
公开(公告)日:2022-09-27
申请号:CN202110277748.6
申请日:2021-03-15
Applicant: 南京理工大学
Abstract: 本发明涉及一种焊件轮廓检测方法,包括以下步骤:1.图像增强预处理,2.图像直方图均衡化处理,3.图像去噪,4.图像去除背景干扰,5.图像边缘改善。本发明采用图像增强的方式对焊件图像进行预处理,提升焊件图像边缘检测的精度;本发明引入直方图均衡化来提升图像的灰度级动态范围,提高图像对比度,使图像更清晰;本发明采用中值滤波技术对图像进行去噪处理,其运算简单,方便实现,在滤除孤立噪声点的同时还保护了图像的边缘信息;本发明采用概率霍夫变换法判定并连接图像边缘断开的像素点,计算量少,实用性强,效率高。
-
公开(公告)号:CN113724308B
公开(公告)日:2022-03-15
申请号:CN202111286968.1
申请日:2021-11-02
Applicant: 南京理工大学
IPC: G06T7/33
Abstract: 本发明涉及基于光度与对比度互注意力的跨波段立体匹配算法,包括:1.采集数据集,2.搭建端到端的跨模态立体匹配网络,3.构建约束,4.构建注意力增强机制,5.模型训练,包括共有特征提取训练和共有特征的视差匹配训练。本发明完成了红外‑可见光立体匹配系统的搭建,提供可见光长波红外跨模态立体匹配算法;提出并设计基于自编码的特征相关性学习框架,在高层语义特征上挖掘不同波段共有信息;提出特征层约束与明度注意力约束机制,特征约束有效的提升了代价卷模块在跨模态立体匹配任务中的性能;明度注意力提高在低曝光条件下网络对有效信息获取的能力。
-
公开(公告)号:CN113781377A
公开(公告)日:2021-12-10
申请号:CN202111292602.5
申请日:2021-11-03
Applicant: 南京理工大学
Abstract: 本发明涉及基于对抗性语义引导与感知的红外和可见光图像融合方法,包括:1.生成融合网络ASGGAN,2.学习优化,利用分割网络作为判别器,分割网络和融合网络形成生成对抗网络关系,分割网络和融合网络在对抗学习的过程中不断优化,3.获取全局性和局部性的GAN网络loss函数,4.加入分割label,加入分割label作为判别器先验优化融合上的空间选择,5.综合评价。本发明利用分割网络来迁移语义信息到图像融合的过程,增强了融合图像的目标显著性;利用U型判别器,保留图像的全局结构特征和局部纹理,使图像拥有自然观感。
-
公开(公告)号:CN112365501B
公开(公告)日:2021-05-28
申请号:CN202110042501.6
申请日:2021-01-13
Applicant: 南京理工大学
Abstract: 本发明涉及一种基于卷积神经网络的焊件轮廓检测算法,包括以下步骤:1.建立基础网络,建立基于RCF网络改进的跳层解码融合网络作为基础网络;2.构建跳层解码融合模块;3.引入ASPP模块;4.引入注意力机制模块。本发明在基于RCF网络改进的跳层解码融合网络增加解码路径,并采用点乘的方式融合不同尺度的信息,利用高层的语义信息来约束低层网络,避免在融合过程中低层特征引入过多的背景纹理信息,提升目标边缘检测的精度;对RCF网络中减少下采样次数导致的网络感受野减小的问题,引入ASPP模块,在不损失特征图分辨率的同时,扩大感受野并增强语义信息;引入改进的注意力机制模块,使网络更加专注目标的焊缝和外轮廓区域。
-
公开(公告)号:CN113724308A
公开(公告)日:2021-11-30
申请号:CN202111286968.1
申请日:2021-11-02
Applicant: 南京理工大学
IPC: G06T7/33
Abstract: 本发明涉及基于光度与对比度互注意力的跨波段立体匹配算法,包括:1.采集数据集,2.搭建端到端的跨模态立体匹配网络,3.构建约束,4.构建注意力增强机制,5.模型训练,包括共有特征提取训练和共有特征的视差匹配训练。本发明完成了红外‑可见光立体匹配系统的搭建,提供可见光长波红外跨模态立体匹配算法;提出并设计基于自编码的特征相关性学习框架,在高层语义特征上挖掘不同波段共有信息;提出特征层约束与明度注意力约束机制,特征约束有效的提升了代价卷模块在跨模态立体匹配任务中的性能;明度注意力提高在低曝光条件下网络对有效信息获取的能力。
-
公开(公告)号:CN113034452A
公开(公告)日:2021-06-25
申请号:CN202110277748.6
申请日:2021-03-15
Applicant: 南京理工大学
Abstract: 本发明涉及一种焊件轮廓检测方法,包括以下步骤:1.图像增强预处理,2.图像直方图均衡化处理,3.图像去噪,4.图像去除背景干扰,5.图像边缘改善。本发明采用图像增强的方式对焊件图像进行预处理,提升焊件图像边缘检测的精度;本发明引入直方图均衡化来提升图像的灰度级动态范围,提高图像对比度,使图像更清晰;本发明采用中值滤波技术对图像进行去噪处理,其运算简单,方便实现,在滤除孤立噪声点的同时还保护了图像的边缘信息;本发明采用概率霍夫变换法判定并连接图像边缘断开的像素点,计算量少,实用性强,效率高。
-
公开(公告)号:CN112365501A
公开(公告)日:2021-02-12
申请号:CN202110042501.6
申请日:2021-01-13
Applicant: 南京理工大学
Abstract: 本发明涉及一种基于卷积神经网络的焊件轮廓检测算法,包括以下步骤:1.建立基础网络,建立基于RCF网络改进的跳层解码融合网络作为基础网络;2.构建跳层解码融合模块;3.引入ASPP模块;4.引入注意力机制模块。本发明在基于RCF网络改进的跳层解码融合网络增加解码路径,并采用点乘的方式融合不同尺度的信息,利用高层的语义信息来约束低层网络,避免在融合过程中低层特征引入过多的背景纹理信息,提升目标边缘检测的精度;对RCF网络中减少下采样次数导致的网络感受野减小的问题,引入ASPP模块,在不损失特征图分辨率的同时,扩大感受野并增强语义信息;引入改进的注意力机制模块,使网络更加专注目标的焊缝和外轮廓区域。
-
-
-
-
-
-
-
-
-