基于非理想监督的恶劣天气图像复原系统

    公开(公告)号:CN117391969B

    公开(公告)日:2024-07-30

    申请号:CN202311358237.2

    申请日:2023-10-19

    Abstract: 一种基于非理想监督的恶劣天气图像复原系统,属于图像复原领域。本发明针对现有恶劣天气下图像的复原网络利用合成数据集以有监督方式训练或者仅利用真实的退化图像进行无监督的训练,对图像的重建质量差的问题。包括采用一致性标签构造器对同场景下同时段采集的主退化图像和辅助退化图像进行特征提取,获得主退化图像的伪标签;图像复原网络,用于对主退化图像进行重建,得到去退化的初级重建图像;信息分配模块,用于基于伪标签优化项和原始非理想标签优化项对初级重建图像进行约束,得到高质量重建图像;基于伪标签优化项和原始非理想标签优化项更新图像复原网络的网络参数,获得最终图像复原网络。本发明用于恶劣天气图像复原。

    基于长短曝光图像对的自监督图像复原系统

    公开(公告)号:CN115564671B

    公开(公告)日:2024-05-03

    申请号:CN202211165701.1

    申请日:2022-09-23

    Abstract: 基于长短曝光图像对的自监督图像复原系统,属于图像复原领域。解决了现有利用长短曝光的互补性进行图像复原方法,在模型训练阶段图像复原模型的损失函数的确定依赖于目标图像,存在目标图像获取困难的问题。本发明通过利用短曝光和长曝光图像的互补性进行图像复原,即联合长短曝光图像作为图像复原模型D输入以复原出更好效果的图像。本发明在图像复原模型D训练阶段采用自监督的方式进行参数学习。且自监督的方式进行参数学习的过程中,确定图像复原模型D的损失函数#imgabs0#,并利用损失函数#imgabs1#对图像复原模型D的卷积参数进行更新,实现对图像复原模型D以自监督的方式进行卷积参数学习。本发明主要用于图像复原。

    基于人脸退化模型迁移的自然场景图像盲复原系统

    公开(公告)号:CN114170108B

    公开(公告)日:2024-04-12

    申请号:CN202111525479.7

    申请日:2021-12-14

    Inventor: 李晓明 左旺孟

    Abstract: 一种基于人脸退化模型迁移的自然场景图像盲复原系统,属于图像复原技术领域。本发明针对低质量的自然场景图像由于无法模拟其真实退化过程而无法获得满意的复原结果的问题。包括:采用退化表示学习网络由真实低质量人脸图像样本和对应的复原后高质量人脸图像样本模拟图像真实退化过程,获得图像退化表示特征;采用退化图像生成网络通过退化表示特征控制退化过程获得新生成退化人脸图像;再由高质量自然图像通过退化表示特征控制自然图像退化过程,获得退化后低质量自然图像;再由采集的高质量自然图像与退化后目标场景低质量自然图像形成的数据对,对通用场景复原网络进行训练,获得目标场景复原网络。本发明用于真实场景下低质量自然图像的复原。

    基于高效梯度近似的黑盒预训练多模态模型微调方法

    公开(公告)号:CN117668504A

    公开(公告)日:2024-03-08

    申请号:CN202311646566.7

    申请日:2023-12-04

    Abstract: 一种基于高效梯度近似的黑盒预训练多模态模型微调方法,属于预训练深度学习模型的自适应领域。本发明针对现有模型微调方法不适用于黑盒预训练模型的调优,无法提升黑盒预训练模型在下游任务上的性能的问题。包括设置提示词模块以学习适应下游任务的语境;将提示词前缀与文本编码器原输入文本的类别词拼接后,输入文本编码器进行编码,获得文本类别特征向量;由特征适配器处理图像编码器输出的特征,获得输入图像的视觉特征;基于文本类别特征向量和输入图像视觉特征的匹配结果计算损失函数;基于多次随机扰动的梯度估计算法对提示词模块的参数进行优化;对特征适配器使用梯度反向传播算法进行优化。本发明用于预训练模型的调优。

    基于长短曝光图像对的自监督图像复原系统

    公开(公告)号:CN115564671A

    公开(公告)日:2023-01-03

    申请号:CN202211165701.1

    申请日:2022-09-23

    Abstract: 基于长短曝光图像对的自监督图像复原系统,属于图像复原领域。解决了现有利用长短曝光的互补性进行图像复原方法,在模型训练阶段图像复原模型的损失函数的确定依赖于目标图像,存在目标图像获取困难的问题。本发明通过利用短曝光和长曝光图像的互补性进行图像复原,即联合长短曝光图像作为图像复原模型D输入以复原出更好效果的图像。本发明在图像复原模型D训练阶段采用自监督的方式进行参数学习。且自监督的方式进行参数学习的过程中,确定图像复原模型D的损失函数,并利用损失函数对图像复原模型D的卷积参数进行更新,实现对图像复原模型D以自监督的方式进行卷积参数学习。本发明主要用于图像复原。

    基于真实世界双焦距图像的超分辨率自监督学习系统

    公开(公告)号:CN114283064A

    公开(公告)日:2022-04-05

    申请号:CN202111602313.0

    申请日:2021-12-24

    Abstract: 一种基于真实世界双焦距图像的超分辨率自监督学习系统,属于图像复原技术领域。本发明针对使用仿真数据训练的基于参考的图像超分辨率方法在真实场景中不适用的问题。包括:图像退化模块,用于根据低分辨率图像对高分辨率目标图像进行退化处理,获得伪低分辨率图像;低分辨率图像对齐模块,通过偏移估计器估计低分辨率图像与伪低分辨率图像之间的偏移量;根据所述偏移量获得变形后低分辨率图像;参考图像对齐模块,计算参考图像与伪低分辨率图像之间的相似度对参考图像进行变形,获得变形后参考图像;复原模块,用于根据参考图像对变形后低分辨率图像和变形后参考图像进行处理,获得最终的超分辨率图像。本发明用于低分辨率图像的超分辨率。

    基于多级小波卷积神经网络的图像复原系统

    公开(公告)号:CN108765320B

    公开(公告)日:2021-06-22

    申请号:CN201810467098.X

    申请日:2018-05-16

    Abstract: 基于多级小波卷积神经网络的图像复原系统,属于图像复原领域,解决了现有基于卷积神经网络的图像复原系统无法兼顾图像复原质量和图像复原速度的问题。所述系统:小波变换层和卷积神经子网络交替排列,前者输出端与后者输入端相连。反卷积神经子网络和小波逆变换层交替排列,前者输出端与后者输入端相连。第一反卷积神经子网络输入端与第M卷积神经子网络输出端相连。第一小波变换层输出端还与第M小波逆变换层输入端相连。第一卷积神经子网络输出端~第M‑1卷积神经子网络输出端分别与第M反卷积神经子网络输入端~第二卷积神经子网络输入端相连。第一小波变换层的输入对象为待复原图像,第M小波逆变换层的输出结果为复原图像。M≥2。

    基于形变引导图的人脸图像复原系统

    公开(公告)号:CN108537754B

    公开(公告)日:2021-06-22

    申请号:CN201810329602.X

    申请日:2018-04-12

    Abstract: 基于形变引导图的人脸图像复原系统,属于图像复原领域,解决了现有基于卷积神经网络的人脸图像复原系统无法对低质量人脸图像进行有效增强的问题。人脸图像复原系统:引导图变形网络和人脸图像重建网络均基于卷积神经网络实现。引导图变形网络将待复原人脸图和引导图作为输入,将得到的光流向量作为使引导图变形的绝对坐标,并通过双线性插值的方式使引导图变形,得到形变引导图。引导图和待复原人脸图为同一人的人脸图,引导图为高清正脸图。形变引导图中的人脸与待复原人脸图中的人脸的姿态和表情相同。人脸图像重建网络将待复原人脸图和形变引导图作为其输入,并输出复原人脸图。本发明所述的人脸图像复原系统适用于对低质量人脸图像进行增强。

Patent Agency Ranking