公开(公告)号：CN112616014A

公开(公告)日：2021-04-06

申请号：CN202011450489.4

申请日：2020-12-09

Applicant: 福州大学

Inventor： 兰诚栋 ,  缪辰启 ,  宋彩霞 ,  罗铖 ,  赵铁松

IPC: H04N5/232 ,  H04N19/147 ,  H04N19/159 ,  H04N21/234

Abstract: 本发明涉及一种基于GAN的全景视频自适应流传输方法，首先构建时域相似性图，通过GAN网络进行时域相似性的提取，以生成潜码代替部分视频帧传输，并在提取网络的训练过程中考虑重建质量与潜码的码率之间的权衡，同时引入了码率自适应控制机制，根据当前网络情况来进行潜码码率的调整，以提高带宽利用率。在编码器端，使用卷积网络提取偶数视频帧的潜码作为辅助信息，并构建模型的码率与重建质量联合代价函数。在解码器端，GAN的生成器将奇数视频帧与偶数视频帧的潜码结合起来以重构偶数视频帧。本发明采用GAN提取的潜码替代偶数视频帧在网络中进行传输，实现更好的率失真性能，并且码率控制机制能够有效的匹配复杂多变的网络带宽，提升了带宽使用率。

公开(公告)号：CN112616014B

公开(公告)日：2022-03-15

申请号：CN202011450489.4

申请日：2020-12-09

Applicant: 福州大学

Inventor： 兰诚栋 ,  缪辰启 ,  宋彩霞 ,  罗铖 ,  赵铁松

IPC: H04N5/232 ,  H04N19/147 ,  H04N19/159 ,  H04N21/234

Abstract: 本发明涉及一种基于GAN的全景视频自适应流传输方法，首先构建时域相似性图，通过GAN网络进行时域相似性的提取，以生成潜码代替部分视频帧传输，并在提取网络的训练过程中考虑重建质量与潜码的码率之间的权衡，同时引入了码率自适应控制机制，根据当前网络情况来进行潜码码率的调整，以提高带宽利用率。在编码器端，使用卷积网络提取偶数视频帧的潜码作为辅助信息，并构建模型的码率与重建质量联合代价函数。在解码器端，GAN的生成器将奇数视频帧与偶数视频帧的潜码结合起来以重构偶数视频帧。本发明采用GAN提取的潜码替代偶数视频帧在网络中进行传输，实现更好的率失真性能，并且码率控制机制能够有效的匹配复杂多变的网络带宽，提升了带宽使用率。