公开(公告)号：CN116895037B

公开(公告)日：2024-10-29

申请号：CN202310912141.X

申请日：2023-07-24

Applicant: 济南大学

Inventor： 杨晓晖 ,  王绍文 ,  王清 ,  徐涛 ,  冯志全

IPC: G06V20/40 ,  G06T3/4007 ,  G06V10/82 ,  G06N3/0464 ,  G06V10/86

Abstract: 本发明属于计算机视觉技术领域，具体为一种基于边缘信息和多尺度交叉融合网络的帧插入方法及系统，包括：获取连续的两帧图像，对图像进行裁剪和尺度变换，得到裁剪后的原尺度图像以及尺度变换后的图像；对原尺度图像进行特征提取，利用基于边缘信息的特征增强模块对提取的特征进行增强得到增强后的特征；对增强后的特征进行尺度变换后，分别对不同尺度的增强后的特征进行像素级参数提取，接着使用自适应流协作根据提取的像素级参数对不同尺度的图像进行帧扭曲操作，得到三个尺度的扭曲帧；将三个尺度的扭曲帧输入多尺度交叉融合网络中以合成插值帧。本发明的基于边缘信息的特征增强模块能够使模型获得更加完整的特征图，从而提高模型性能。

公开(公告)号：CN116895037A

公开(公告)日：2023-10-17

申请号：CN202310912141.X

申请日：2023-07-24

Applicant: 济南大学

Inventor： 杨晓晖 ,  王绍文 ,  王清 ,  徐涛 ,  冯志全

IPC: G06V20/40 ,  G06T3/40 ,  G06V10/82 ,  G06N3/0464 ,  G06V10/86

Abstract: 本发明属于计算机视觉技术领域，具体为一种基于边缘信息和多尺度交叉融合网络的帧插入方法及系统，包括：获取连续的两帧图像，对图像进行裁剪和尺度变换，得到裁剪后的原尺度图像以及尺度变换后的图像；对原尺度图像进行特征提取，利用基于边缘信息的特征增强模块对提取的特征进行增强得到增强后的特征；对增强后的特征进行尺度变换后，分别对不同尺度的增强后的特征进行像素级参数提取，接着使用自适应流协作根据提取的像素级参数对不同尺度的图像进行帧扭曲操作，得到三个尺度的扭曲帧；将三个尺度的扭曲帧输入多尺度交叉融合网络中以合成插值帧。本发明的基于边缘信息的特征增强模块能够使模型获得更加完整的特征图，从而提高模型性能。

公开(公告)号：CN117896526A

公开(公告)日：2024-04-16

申请号：CN202410059485.5

申请日：2024-01-15

Applicant: 济南大学

Inventor： 杨晓晖 ,  王绍文 ,  王静 ,  张风 ,  司统振

IPC: H04N19/132 ,  H04N19/182 ,  H04N19/42 ,  H04N19/44 ,  G06T9/00 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了基于双向编码结构的视频帧插值方法及系统；对第一尺度的输入帧图像进行预处理，得到第二和第三尺度的输入帧图像；将第一尺度的输入帧图像，输入到训练后的插值帧生成模型得到插值帧；模型对第一尺度的输入帧图像进行处理，得到第一尺度原始特征；对第一尺度原始特征进行预处理，得到第二、三尺度的原始特征；将第一、二和三尺度的原始特征，各自输入到对应的子网络，分别得到第一、二和三尺度原始特征上每个目标像素的像素级参数；基于每个尺度原始特征上每个目标像素的像素级参数和AdaCoF，对相应尺度的输入图像进行扭曲操作，得到相应尺度的扭曲帧图像；对多个尺度的扭曲帧图像进行合成操作得到插值帧。