公开(公告)号：CN118396858A

公开(公告)日：2024-07-26

申请号：CN202410288845.9

申请日：2024-03-14

Applicant: 南开大学

Inventor： 杨巨峰 ,  周世豪 ,  陈铎晟 ,  瞿立燊

IPC: G06T5/00 ,  G06N3/0464 ,  G06N3/0455

Abstract: 本发明涉及图像处理技术领域，尤其涉及一种基于双提示引导Transformer的图像恢复方法，通过卷积层提取图像的第一浅层特征和第二浅层特征；通过增强型动态解耦器模块对第一浅层特征解耦获得低频特征和高频特征；通过高频提示调制器处理高频特征获得高频提示特征；通过低频提示调制器处理低频特征获得低频提示特征；通过解码器和编码器网络将第二浅层特征改进为深层特征，根据深层特征修改低频提示特征和高频提示特征获得低频输出特征和高频输出特征；将低频输出特征和高频输出特征输入图像重建模块，生成重建后的图像。利用多尺度分辨率下不同频率范围内的特征来提示模型恢复更清晰的图像，提高了图像恢复的精度，恢复效果更好。

公开(公告)号：CN118333883A

公开(公告)日：2024-07-12

申请号：CN202410318337.0

申请日：2024-03-20

Applicant: 南开大学

Inventor： 杨巨峰 ,  瞿立燊 ,  周世豪 ,  陈铎晟

IPC: G06T5/60 ,  G06T5/70 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明涉及图像处理技术领域，提供一种基于照度定律和动态掩码的夜间耀斑去除方法，包括：使用预训练的深度估计模型，基于照度定律对背景图像及耀斑图像进行处理，获得深度学习模型的基准图像；通过动态掩码模块对深度学习模型的基准图像进行处理，获得深度学习模型的输入图像；将深度学习模型的输入图像输入神经网络模型，将神经网络模型的输出结果与深度学习模型的基准图像进行拼接，最后经过一个卷积层，获得去除耀斑的图像。本发明通过照度定律以及深度估计的手段，约束多耀斑之间的强弱关系，能够合成出更加符合真实世界物理规律的耀斑数据集；本发明通过动态掩码模块，使模型更专注于耀斑区域的处理，取得了优秀的图像修复效果。

公开(公告)号：CN118333897A

公开(公告)日：2024-07-12

申请号：CN202410317936.0

申请日：2024-03-20

Applicant: 南开大学

Inventor： 杨巨峰 ,  陈铎晟 ,  周世豪 ,  瞿立燊

IPC: G06T5/73 ,  G06T5/60 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及图像处理技术领域，提供一种基于方向感知Transformer的图像去模糊方法，将原图像输入到编码器解码器神经网络中的极坐标嵌入模块；通过极坐标嵌入模块提取原图像的浅层特征；通过编码器解码器神经网络中的极坐标注意力模块提取原图像在极坐标下的像素间的相对位置，通过对像素间的相对位置关系进行注意力计算，获得极坐标注意力模块特征；将极坐标注意力模块特征输入到图像重建模块中，生成重建后的高质量清晰图像。本发明通过极坐标嵌入模块对图像的浅层特性进行提取，在每个方向上对特征进行聚合，极坐标注意力模块在进行注意力计算时，可以更好的利用提取的浅层特征，在各方向对特征进行学习，实现更好的图像恢复。