-
公开(公告)号:CN113409190A
公开(公告)日:2021-09-17
申请号:CN202110528164.1
申请日:2021-05-14
Applicant: 广东工业大学
Abstract: 本发明公开了一种基于多帧分组与反馈网络的视频超分辨率方法,包括:构建初始超分辨率网络模型,获取训练视频数据集;确定需超分的目标帧,对其进行上采样,获得初步超分视频帧;将训练视频数据包含的视频帧序列分组;提取分组的视频帧序列的特征图,并对其进行对齐、融合操作,获得LR特征图;对LR特征图进行逐步反馈超分,获得超分特征图序列;对超分特征图序列进行重建,获得重建超分残差信息序列,并与初步超分视频帧相加,获得目标帧的最终超分视频帧序列;设置损失函数,对初始超分辨率网络模型进行训练,获得训练好的超分辨率网络模型;本发明提高了视频超分辨率效果,重建出的视频帧细节保持效果明显提高。
-
公开(公告)号:CN113610707B
公开(公告)日:2024-02-09
申请号:CN202110838280.3
申请日:2021-07-23
Applicant: 广东工业大学
IPC: G06T3/4053 , G06N3/049 , G06N3/045 , G06N3/044 , G06N3/08
Abstract: 本发明提出一种基于时间注意力与循环反馈网络的视频超分辨率方法,将与目标帧距离不同的相邻帧所提供的视觉信息对超分重建效果的贡献度不同的特点、人类视觉系统的反馈机制、以及人类学习新知识过程中的循环反馈指导特性运用到视频超分辨率技术中,采用时间注意力模块学习视频序列在时间轴上的注意力图,能有效区分不同时间度的相邻帧对最后重建效果贡献;将视频序列进行重新排列后由循环反馈模块进行循环反馈超分,最终得到超分辨率网络模型,该模型具有着重学习对超分重建贡献度大的信息的特性以及强大的高层特征学习能力,从而提高了视频超分辨率效果。
-
公开(公告)号:CN113409190B
公开(公告)日:2022-05-20
申请号:CN202110528164.1
申请日:2021-05-14
Applicant: 广东工业大学
Abstract: 本发明公开了一种基于多帧分组与反馈网络的视频超分辨率方法,包括:构建初始超分辨率网络模型,获取训练视频数据集;确定需超分的目标帧,对其进行上采样,获得初步超分视频帧;将训练视频数据包含的视频帧序列分组;提取分组的视频帧序列的特征图,并对其进行对齐、融合操作,获得LR特征图;对LR特征图进行逐步反馈超分,获得超分特征图序列;对超分特征图序列进行重建,获得重建超分残差信息序列,并与初步超分视频帧相加,获得目标帧的最终超分视频帧序列;设置损失函数,对初始超分辨率网络模型进行训练,获得训练好的超分辨率网络模型;本发明提高了视频超分辨率效果,重建出的视频帧细节保持效果明显提高。
-
公开(公告)号:CN113409191A
公开(公告)日:2021-09-17
申请号:CN202110615890.7
申请日:2021-06-02
Applicant: 广东工业大学
Abstract: 本发明提出一种基于注意力反馈机制的轻量级图像超分方法及系统,包括:将低分辨率图像输入浅层特征提取网络中获取浅层特征信息,将浅层特征信息输入深层特征提取网络中得到深度特征信息;将深度特征信息输入重建网络中重建超分辨率图像,经上采样得到高分辨率特征图,再将高分辨率特征图与低分辨率图像进行双三次上采样后智能相加,得到超分辨率图像;根据超分辨率图像与原始高分辨率图像计算损失函数并对超分辨率模型训练;将深度特征信息输入下一个深层特征提取网络中提取深度特征信息,并重复上述步骤至完成最后一个深层特征提取网络的深度特征信息提取,将提取的深度特征信息输入重建网络中进行超分辨率图像重建,输出得到超分辨率图像SR。
-
公开(公告)号:CN113409191B
公开(公告)日:2023-04-07
申请号:CN202110615890.7
申请日:2021-06-02
Applicant: 广东工业大学
IPC: G06T3/40 , G06T5/00 , G06V10/40 , G06V10/80 , G06N3/0464 , G06N3/048 , G06N3/0455 , G06N3/082
Abstract: 本发明提出一种基于注意力反馈机制的轻量级图像超分方法及系统,包括:将低分辨率图像输入浅层特征提取网络中获取浅层特征信息,将浅层特征信息输入深层特征提取网络中得到深度特征信息;将深度特征信息输入重建网络中重建超分辨率图像,经上采样得到高分辨率特征图,再将高分辨率特征图与低分辨率图像进行双三次上采样后智能相加,得到超分辨率图像;根据超分辨率图像与原始高分辨率图像计算损失函数并对超分辨率模型训练;将深度特征信息输入下一个深层特征提取网络中提取深度特征信息,并重复上述步骤至完成最后一个深层特征提取网络的深度特征信息提取,将提取的深度特征信息输入重建网络中进行超分辨率图像重建,输出得到超分辨率图像SR。
-
公开(公告)号:CN113610707A
公开(公告)日:2021-11-05
申请号:CN202110838280.3
申请日:2021-07-23
Applicant: 广东工业大学
Abstract: 本发明提出一种基于时间注意力与循环反馈网络的视频超分辨率方法,将与目标帧距离不同的相邻帧所提供的视觉信息对超分重建效果的贡献度不同的特点、人类视觉系统的反馈机制、以及人类学习新知识过程中的循环反馈指导特性运用到视频超分辨率技术中,采用时间注意力模块学习视频序列在时间轴上的注意力图,能有效区分不同时间度的相邻帧对最后重建效果贡献;将视频序列进行重新排列后由循环反馈模块进行循环反馈超分,最终得到超分辨率网络模型,该模型具有着重学习对超分重建贡献度大的信息的特性以及强大的高层特征学习能力,从而提高了视频超分辨率效果。
-
-
-
-
-