-
公开(公告)号:CN112954395B
公开(公告)日:2022-05-17
申请号:CN202110149866.9
申请日:2021-02-03
Applicant: 南开大学
IPC: H04N21/2343 , H04N21/4402 , G06K9/62 , G06N3/04 , G06T7/246
Abstract: 本公开公开的一种可插入任意帧率的视频插帧方法及系统,包括:获取需要插帧的相邻的上一帧图像特征和下一帧图像特征,及插入帧时刻距离上一帧时刻的第一时间间隔信息,插入帧时刻距离下一帧时刻的第二时间间隔信息;将上一帧图像特征、下一帧图像特征和第一时间间隔信息输入时域调制模块控制的第一金字塔级联可变形模块中,输出第一中间帧特征,将上一帧图像特征、下一帧图像特征和第二时间间隔信息输入时域调制模块控制的第二金字塔级联可变形模块中,输出第二中间帧特征,将第一中间帧特征和第二中间帧特征融合获得中间帧特征;根据中间帧特征获得所要插入的中间帧。实现了任意时刻的灵活插帧。
-
公开(公告)号:CN112950470A
公开(公告)日:2021-06-11
申请号:CN202110217175.8
申请日:2021-02-26
Applicant: 南开大学
Abstract: 本发明提供了基于时域特征融合的视频超分辨率重建方法及系统。其中该方法包括获取视频的图像序列,提取图像序列特征,得到初始特征序列;将初始特征序列中的特征进行局部时域特征融合,得到局部特征序列;将初始特征序列中的非边界特征与其最邻近的两个特征进行融合;对于初始特征序列中的边界特征,将两个该边界特征及与其最邻近的一个特征进行融合;将局部特征序列输入至双向采样的可变卷积长短时记忆网络,对局部特征序列中每一个特征进行全局范围内的特征补充,得到全局特征序列;提取全局特征序列的超分辨率特征,并与初始特征序列对应相加,再提取特征相加后序列的高分辨率上采样特征,经卷积神经网络得到最终的高分辨率重建图像序列。
-
公开(公告)号:CN112950470B
公开(公告)日:2022-07-15
申请号:CN202110217175.8
申请日:2021-02-26
Applicant: 南开大学
IPC: G06T3/40 , G06V10/42 , G06V10/44 , G06V10/62 , G06V10/771 , G06V10/80 , G06V10/82 , G06K9/62 , G06N3/04
Abstract: 本发明提供了基于时域特征融合的视频超分辨率重建方法及系统。其中该方法包括获取视频的图像序列,提取图像序列特征,得到初始特征序列;将初始特征序列中的特征进行局部时域特征融合,得到局部特征序列;将初始特征序列中的非边界特征与其最邻近的两个特征进行融合;对于初始特征序列中的边界特征,将两个该边界特征及与其最邻近的一个特征进行融合;将局部特征序列输入至双向采样的可变卷积长短时记忆网络,对局部特征序列中每一个特征进行全局范围内的特征补充,得到全局特征序列;提取全局特征序列的超分辨率特征,并与初始特征序列对应相加,再提取特征相加后序列的高分辨率上采样特征,经卷积神经网络得到最终的高分辨率重建图像序列。
-
公开(公告)号:CN112954395A
公开(公告)日:2021-06-11
申请号:CN202110149866.9
申请日:2021-02-03
Applicant: 南开大学
IPC: H04N21/2343 , H04N21/4402 , G06K9/62 , G06N3/04 , G06T7/246
Abstract: 本公开公开的一种可插入任意帧率的视频插帧方法及系统,包括:获取需要插帧的相邻的上一帧图像特征和下一帧图像特征,及插入帧时刻距离上一帧时刻的第一时间间隔信息,插入帧时刻距离下一帧时刻的第二时间间隔信息;将上一帧图像特征、下一帧图像特征和第一时间间隔信息输入时域调制模块控制的第一金字塔级联可变形模块中,输出第一中间帧特征,将上一帧图像特征、下一帧图像特征和第二时间间隔信息输入时域调制模块控制的第二金字塔级联可变形模块中,输出第二中间帧特征,将第一中间帧特征和第二中间帧特征融合获得中间帧特征;根据中间帧特征获得所要插入的中间帧。实现了任意时刻的灵活插帧。
-
-
-