-
公开(公告)号:CN117391969B
公开(公告)日:2024-07-30
申请号:CN202311358237.2
申请日:2023-10-19
Applicant: 哈尔滨工业大学
IPC: G06T5/00 , G06T5/60 , G06N3/0464 , G06N3/0455 , G06N3/084 , G06V10/44 , G06V10/52 , G06V10/80 , G06V10/82
Abstract: 一种基于非理想监督的恶劣天气图像复原系统,属于图像复原领域。本发明针对现有恶劣天气下图像的复原网络利用合成数据集以有监督方式训练或者仅利用真实的退化图像进行无监督的训练,对图像的重建质量差的问题。包括采用一致性标签构造器对同场景下同时段采集的主退化图像和辅助退化图像进行特征提取,获得主退化图像的伪标签;图像复原网络,用于对主退化图像进行重建,得到去退化的初级重建图像;信息分配模块,用于基于伪标签优化项和原始非理想标签优化项对初级重建图像进行约束,得到高质量重建图像;基于伪标签优化项和原始非理想标签优化项更新图像复原网络的网络参数,获得最终图像复原网络。本发明用于恶劣天气图像复原。
-
公开(公告)号:CN115564671B
公开(公告)日:2024-05-03
申请号:CN202211165701.1
申请日:2022-09-23
Applicant: 哈尔滨工业大学
IPC: G06T5/90 , G06T5/70 , G06T5/60 , G06N3/0464 , G06N3/0895 , G06N3/0455
Abstract: 基于长短曝光图像对的自监督图像复原系统,属于图像复原领域。解决了现有利用长短曝光的互补性进行图像复原方法,在模型训练阶段图像复原模型的损失函数的确定依赖于目标图像,存在目标图像获取困难的问题。本发明通过利用短曝光和长曝光图像的互补性进行图像复原,即联合长短曝光图像作为图像复原模型D输入以复原出更好效果的图像。本发明在图像复原模型D训练阶段采用自监督的方式进行参数学习。且自监督的方式进行参数学习的过程中,确定图像复原模型D的损失函数#imgabs0#,并利用损失函数#imgabs1#对图像复原模型D的卷积参数进行更新,实现对图像复原模型D以自监督的方式进行卷积参数学习。本发明主要用于图像复原。
-
公开(公告)号:CN117876262A
公开(公告)日:2024-04-12
申请号:CN202410169725.7
申请日:2024-02-06
Applicant: 哈尔滨工业大学 , 南方医科大学南方医院
IPC: G06T5/73 , G06T5/50 , G06T7/00 , G06T7/33 , G06T9/00 , G06N3/0464 , G06N3/0895
Abstract: 一种手术视频的自监督烟雾去除方法,属于图像复原技术领域。本发明针对腹腔镜手术过程中产生的手术烟雾干扰医生视野的问题。由雾帧编码器、参考帧编码器、对齐模块、融合模块和重建模块搭建视频烟雾去除模型,将高能器械开始工作前的一帧,即烟前帧视作不对齐监督信号,采用包含N帧烟雾帧的烟雾视频序列#imgabs0#和烟前帧Sref对视频烟雾去除模型进行训练,得到训练后视频烟雾去除模型;在实际应用中,训练后视频烟雾去除模型基于真实烟前帧和真实烟雾视频序列得到烟雾去除后视频序列。本发明方法用于烟雾视频中烟雾的去除。
-
公开(公告)号:CN114170108B
公开(公告)日:2024-04-12
申请号:CN202111525479.7
申请日:2021-12-14
Applicant: 哈尔滨工业大学
IPC: G06T5/73 , G06T5/60 , G06N3/045 , G06N3/0464 , G06N3/0475 , G06N3/094 , G06N3/096
Abstract: 一种基于人脸退化模型迁移的自然场景图像盲复原系统,属于图像复原技术领域。本发明针对低质量的自然场景图像由于无法模拟其真实退化过程而无法获得满意的复原结果的问题。包括:采用退化表示学习网络由真实低质量人脸图像样本和对应的复原后高质量人脸图像样本模拟图像真实退化过程,获得图像退化表示特征;采用退化图像生成网络通过退化表示特征控制退化过程获得新生成退化人脸图像;再由高质量自然图像通过退化表示特征控制自然图像退化过程,获得退化后低质量自然图像;再由采集的高质量自然图像与退化后目标场景低质量自然图像形成的数据对,对通用场景复原网络进行训练,获得目标场景复原网络。本发明用于真实场景下低质量自然图像的复原。
-
公开(公告)号:CN117668504A
公开(公告)日:2024-03-08
申请号:CN202311646566.7
申请日:2023-12-04
Applicant: 哈尔滨工业大学
IPC: G06F18/21 , G06F18/214 , G06V10/774
Abstract: 一种基于高效梯度近似的黑盒预训练多模态模型微调方法,属于预训练深度学习模型的自适应领域。本发明针对现有模型微调方法不适用于黑盒预训练模型的调优,无法提升黑盒预训练模型在下游任务上的性能的问题。包括设置提示词模块以学习适应下游任务的语境;将提示词前缀与文本编码器原输入文本的类别词拼接后,输入文本编码器进行编码,获得文本类别特征向量;由特征适配器处理图像编码器输出的特征,获得输入图像的视觉特征;基于文本类别特征向量和输入图像视觉特征的匹配结果计算损失函数;基于多次随机扰动的梯度估计算法对提示词模块的参数进行优化;对特征适配器使用梯度反向传播算法进行优化。本发明用于预训练模型的调优。
-
公开(公告)号:CN111260577B
公开(公告)日:2023-04-18
申请号:CN202010039493.5
申请日:2020-01-15
Applicant: 哈尔滨工业大学
Abstract: 基于多引导图和自适应特征融合的人脸图像复原系统,涉及图像复原处理技术领域,为解决现有技术中无法有效的复原真实低质量图像的问题,包括最优引导图选择模块、最优引导图特征提取模块、退化图特征提取模块、退化图人脸关键点特征提取模块、最优引导图特征姿态纠正模块、光照分布纠正模块、逐级自适应特征融合模块和复原结果重建模块,本发明所述的基于多引导图和自适应特征融合的人脸图像复原系统能够有效地对低质量人脸图像进行增强,可以有效的复原真实低质量图像。
-
公开(公告)号:CN115564671A
公开(公告)日:2023-01-03
申请号:CN202211165701.1
申请日:2022-09-23
Applicant: 哈尔滨工业大学
Abstract: 基于长短曝光图像对的自监督图像复原系统,属于图像复原领域。解决了现有利用长短曝光的互补性进行图像复原方法,在模型训练阶段图像复原模型的损失函数的确定依赖于目标图像,存在目标图像获取困难的问题。本发明通过利用短曝光和长曝光图像的互补性进行图像复原,即联合长短曝光图像作为图像复原模型D输入以复原出更好效果的图像。本发明在图像复原模型D训练阶段采用自监督的方式进行参数学习。且自监督的方式进行参数学习的过程中,确定图像复原模型D的损失函数,并利用损失函数对图像复原模型D的卷积参数进行更新,实现对图像复原模型D以自监督的方式进行卷积参数学习。本发明主要用于图像复原。
-
公开(公告)号:CN114283064A
公开(公告)日:2022-04-05
申请号:CN202111602313.0
申请日:2021-12-24
Applicant: 哈尔滨工业大学
Abstract: 一种基于真实世界双焦距图像的超分辨率自监督学习系统,属于图像复原技术领域。本发明针对使用仿真数据训练的基于参考的图像超分辨率方法在真实场景中不适用的问题。包括:图像退化模块,用于根据低分辨率图像对高分辨率目标图像进行退化处理,获得伪低分辨率图像;低分辨率图像对齐模块,通过偏移估计器估计低分辨率图像与伪低分辨率图像之间的偏移量;根据所述偏移量获得变形后低分辨率图像;参考图像对齐模块,计算参考图像与伪低分辨率图像之间的相似度对参考图像进行变形,获得变形后参考图像;复原模块,用于根据参考图像对变形后低分辨率图像和变形后参考图像进行处理,获得最终的超分辨率图像。本发明用于低分辨率图像的超分辨率。
-
公开(公告)号:CN108765320B
公开(公告)日:2021-06-22
申请号:CN201810467098.X
申请日:2018-05-16
Applicant: 哈尔滨工业大学
Abstract: 基于多级小波卷积神经网络的图像复原系统,属于图像复原领域,解决了现有基于卷积神经网络的图像复原系统无法兼顾图像复原质量和图像复原速度的问题。所述系统:小波变换层和卷积神经子网络交替排列,前者输出端与后者输入端相连。反卷积神经子网络和小波逆变换层交替排列,前者输出端与后者输入端相连。第一反卷积神经子网络输入端与第M卷积神经子网络输出端相连。第一小波变换层输出端还与第M小波逆变换层输入端相连。第一卷积神经子网络输出端~第M‑1卷积神经子网络输出端分别与第M反卷积神经子网络输入端~第二卷积神经子网络输入端相连。第一小波变换层的输入对象为待复原图像,第M小波逆变换层的输出结果为复原图像。M≥2。
-
公开(公告)号:CN108537754B
公开(公告)日:2021-06-22
申请号:CN201810329602.X
申请日:2018-04-12
Applicant: 哈尔滨工业大学
Abstract: 基于形变引导图的人脸图像复原系统,属于图像复原领域,解决了现有基于卷积神经网络的人脸图像复原系统无法对低质量人脸图像进行有效增强的问题。人脸图像复原系统:引导图变形网络和人脸图像重建网络均基于卷积神经网络实现。引导图变形网络将待复原人脸图和引导图作为输入,将得到的光流向量作为使引导图变形的绝对坐标,并通过双线性插值的方式使引导图变形,得到形变引导图。引导图和待复原人脸图为同一人的人脸图,引导图为高清正脸图。形变引导图中的人脸与待复原人脸图中的人脸的姿态和表情相同。人脸图像重建网络将待复原人脸图和形变引导图作为其输入,并输出复原人脸图。本发明所述的人脸图像复原系统适用于对低质量人脸图像进行增强。
-
-
-
-
-
-
-
-
-