公开(公告)号：CN116546237A

公开(公告)日：2023-08-04

申请号：CN202310273999.6

申请日：2023-03-20

Applicant: 南开大学

Inventor： 程明明 ,  李震 ,  朱作良

IPC: H04N21/234 ,  G06T7/269 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08 ,  H04N21/2343 ,  H04N21/44 ,  H04N21/4402

Abstract: 本发明涉及视频插帧技术领域，提供了一种基于全对多场变换的视频插帧方法及系统，包括：基于一对视频帧，得到双向相关性容器、双边光流、中间帧特征和若干层级输入帧特征对，并经过若干个中间层，对双边光流和中间帧特征进行更新，得到输出视频帧；在每个中间层中，先将双边光流缩放转换为双向光流，并根据双向光流在双向相关性容器中取出相关性特征，计算双向光流的残差以及中间帧特征的残差，根据残差对双边光流和中间帧特征进行更新，更新后的双边光流估计对输入帧特征进行扭曲操作，扭曲后的输入帧特征与中间帧特征一同进入解码器进行空间尺度放大。保证了跨尺度光流的保真度，减少了错误的累积与放大，有利于生成更加精确的视频插帧结果。

公开(公告)号：CN114782262A

公开(公告)日：2022-07-22

申请号：CN202210316920.9

申请日：2022-03-29

Applicant: 南开大学

Inventor： 程明明 ,  李震 ,  陆承泽

IPC: G06T5/00 ,  G06T7/269 ,  G06T7/33 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明属于计算机视觉技术领域，提供了一种基于光流引导的端到端视频补全方法及系。该方法包括，获取待处理的视频；将所述待处理的视频切分为局部邻域视频帧与非局部参考视频帧；通过编码器将局部邻域视频帧和非局部参考视频帧转化为局部邻域特征和非局部参考特征；基于所述局部邻域视频帧，采用光流补全模块进行端到端地帧间光流估计及补全，得到补全后的双向光流；基于局部邻域特征和补全后的双向光流，采用特征传播模块进行基于光流引导的局部信息补充，得到补充后的局部邻域特征；基于所述非局部参考特征和补充后的局部邻域特征，得到补全后的视频。