公开(公告)号：CN118333897A

公开(公告)日：2024-07-12

申请号：CN202410317936.0

申请日：2024-03-20

Applicant: 南开大学

Inventor： 杨巨峰 ,  陈铎晟 ,  周世豪 ,  瞿立燊

IPC: G06T5/73 ,  G06T5/60 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及图像处理技术领域，提供一种基于方向感知Transformer的图像去模糊方法，将原图像输入到编码器解码器神经网络中的极坐标嵌入模块；通过极坐标嵌入模块提取原图像的浅层特征；通过编码器解码器神经网络中的极坐标注意力模块提取原图像在极坐标下的像素间的相对位置，通过对像素间的相对位置关系进行注意力计算，获得极坐标注意力模块特征；将极坐标注意力模块特征输入到图像重建模块中，生成重建后的高质量清晰图像。本发明通过极坐标嵌入模块对图像的浅层特性进行提取，在每个方向上对特征进行聚合，极坐标注意力模块在进行注意力计算时，可以更好的利用提取的浅层特征，在各方向对特征进行学习，实现更好的图像恢复。

公开(公告)号：CN118396858A

公开(公告)日：2024-07-26

申请号：CN202410288845.9

申请日：2024-03-14

Applicant: 南开大学

Inventor： 杨巨峰 ,  周世豪 ,  陈铎晟 ,  瞿立燊

IPC: G06T5/00 ,  G06N3/0464 ,  G06N3/0455

Abstract: 本发明涉及图像处理技术领域，尤其涉及一种基于双提示引导Transformer的图像恢复方法，通过卷积层提取图像的第一浅层特征和第二浅层特征；通过增强型动态解耦器模块对第一浅层特征解耦获得低频特征和高频特征；通过高频提示调制器处理高频特征获得高频提示特征；通过低频提示调制器处理低频特征获得低频提示特征；通过解码器和编码器网络将第二浅层特征改进为深层特征，根据深层特征修改低频提示特征和高频提示特征获得低频输出特征和高频输出特征；将低频输出特征和高频输出特征输入图像重建模块，生成重建后的图像。利用多尺度分辨率下不同频率范围内的特征来提示模型恢复更清晰的图像，提高了图像恢复的精度，恢复效果更好。

公开(公告)号：CN118333883A

公开(公告)日：2024-07-12

申请号：CN202410318337.0

申请日：2024-03-20

Applicant: 南开大学

Inventor： 杨巨峰 ,  瞿立燊 ,  周世豪 ,  陈铎晟

IPC: G06T5/60 ,  G06T5/70 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明涉及图像处理技术领域，提供一种基于照度定律和动态掩码的夜间耀斑去除方法，包括：使用预训练的深度估计模型，基于照度定律对背景图像及耀斑图像进行处理，获得深度学习模型的基准图像；通过动态掩码模块对深度学习模型的基准图像进行处理，获得深度学习模型的输入图像；将深度学习模型的输入图像输入神经网络模型，将神经网络模型的输出结果与深度学习模型的基准图像进行拼接，最后经过一个卷积层，获得去除耀斑的图像。本发明通过照度定律以及深度估计的手段，约束多耀斑之间的强弱关系，能够合成出更加符合真实世界物理规律的耀斑数据集；本发明通过动态掩码模块，使模型更专注于耀斑区域的处理，取得了优秀的图像修复效果。

公开(公告)号：CN118134769A

公开(公告)日：2024-06-04

申请号：CN202410200808.8

申请日：2024-02-23

Applicant: 南开大学

Inventor： 杨巨峰 ,  周世豪 ,  陈铎晟

IPC: G06T5/00 ,  G06T5/60 ,  G06N3/0455

Abstract: 本发明涉及涉及图像恢复技术领域，尤其涉及一种基于高频信息注入Transformer的图像恢复方法，该方法包括如下步骤：S1、提取给定退化图像，通过卷积操作提取浅层特征；S2、将浅层特征输入至窗口注入模块，同时将浅层特征编码至网络中，获取优化图像特征；窗口注入模块通过双向交互操作提取解码器深层中浅层特征的关键局部细节信息；S3、优化图像特征经过多级编、解码器网络进行修正，得到窗口级特征图像；S4、窗口级图像特征通过卷积操作生成残差图像；S5、生成恢复图像，恢复图像通过如下计算式表示#imgabs0#。利用窗口注入模块和双向交互模块，来对图像局部细节信息进行增强，以缓解Transformer在恢复图像时对局部信息的稀释，从而实现高质量的图像恢复。

公开(公告)号：CN117830163A

公开(公告)日：2024-04-05

申请号：CN202410150829.3

申请日：2024-02-02

Applicant: 南开大学

Inventor： 杨巨峰 ,  周世豪 ,  陈铎晟

IPC: G06T5/77 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/092 ,  G06V10/80 ,  G06T5/60

Abstract: 本发明涉及图像处理技术领域，尤其涉及一种基于自适应稀疏Transformer的特征细化图像修复方法，该方法包括如下步骤：S1，通过对退化图像进行卷积化操作生成低级特征；S1，通过对退化图像进行卷积化操作生成低级特征；S2，图像特征一和图像特征二进行特征融合获取图像特征三，图像特征三嵌入到深层特征生成残差图像；特征细化前馈处理对图像特征一和图像特征二进行特征学习，并对学习到的图像特征进行信息增强；在对低级特征进行解码过程中包括去噪声处理；S3，将残差图像输入到图像重建单元中，生成重建后的恢复图像。使用本发明提供的修复方法修复退化图像，能够消除多余信息的干扰，最终生成清晰的恢复图像。