公开(公告)号：CN116309059A

公开(公告)日：2023-06-23

申请号：CN202310252192.4

申请日：2023-03-16

Applicant: 南京大学

Inventor： 王中风 ,  张思雨 ,  毛文东

IPC: G06T3/40 ,  G06V10/40 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464

Abstract: 本发明提供了一种基于可变形3D卷积网络的视频超分方法和系统，所述方法包括：将低分辨率LR视频参考帧及其相邻的支持帧输入可变形3D卷积网络，经过可变形3D卷积网络的处理得到一个高分辨率HR视频帧；可变形3D卷积网络的处理包括：浅层特征提取、隐式特征对齐、空时特征融合和高分辨率HR视频帧重建。本发明提出了一种基于先验框的轻量化可变形网络用于视频超分任务，并结合其数据依赖关系和计算特点设计了一种高效的硬件加速器，相比现有的加速方案可以实现更高的视频重建质量，在吞吐率和能效方面提升2.75倍和1.63倍。

公开(公告)号：CN118018742A

公开(公告)日：2024-05-10

申请号：CN202410047711.8

申请日：2024-01-11

Applicant: 南京大学

Inventor： 王中风 ,  张思雨 ,  毛文东

IPC: H04N19/172 ,  H04N19/57 ,  H04N19/20

Abstract: 本申请公开了一种基于稀疏混合视频压缩网络的视频压缩方法及系统，方法包括：获取待压缩帧视频数据；引入可重参数化的快速卷积层和可重参数化的快速反卷积层，构建混合视频压缩网络模型；基于面向快速算法和剪枝策略对混合视频压缩网络模型进行优化处理；构建神经视频压缩硬件加速器并通过优化后的混合视频压缩网络模型对待压缩帧视频数据进行压缩处理。本申请实施例能够降低计算复杂度的同时保持模型性能，在资源有限设备上实现实时视频压缩，对混合视频压缩网络设计专用的硬件加速器，减少由大尺寸运动和残差特征引起的大量片外数据通信和计算资源开销，进而实现高效的端侧视频压缩。本申请可以广泛应用于视频压缩技术领域。