一种基于GAN潜码的多视点视频重建方法

    公开(公告)号:CN112866668B

    公开(公告)日:2022-04-19

    申请号:CN202011316505.0

    申请日:2020-11-20

    Applicant: 福州大学

    Abstract: 本发明涉及一种基于GAN潜码的多视点视频重建方法,可用于虚拟视点合成、多视点视频压缩后处理以及虚拟现实等领域,具有广泛的应用价值。本发明通过GAN的生成能力来补偿相邻视点之间丢失的映射关系,并在提取网络的训练过程中考虑重建质量与潜码的码率之间的权衡。在编码器端,使用卷积网络提取GAN的潜码作为辅助信息,并构建模型的码率与重建质量联合代价函数。在解码器端,GAN的生成器将相邻视点与潜码结合起来以重构中间视图。本发明GAN潜码可以用作多视点视频的辅助信息,以实现更好的率失真性能。

    一种基于GAN潜码的多视点视频重建方法

    公开(公告)号:CN112866668A

    公开(公告)日:2021-05-28

    申请号:CN202011316505.0

    申请日:2020-11-20

    Applicant: 福州大学

    Abstract: 本发明涉及一种基于GAN潜码的多视点视频重建方法,可用于虚拟视点合成、多视点视频压缩后处理以及虚拟现实等领域,具有广泛的应用价值。本发明通过GAN的生成能力来补偿相邻视点之间丢失的映射关系,并在提取网络的训练过程中考虑重建质量与潜码的码率之间的权衡。在编码器端,使用卷积网络提取GAN的潜码作为辅助信息,并构建模型的码率与重建质量联合代价函数。在解码器端,GAN的生成器将相邻视点与潜码结合起来以重构中间视图。本发明GAN潜码可以用作多视点视频的辅助信息,以实现更好的率失真性能。

    一种基于GAN的全景视频自适应流传输方法

    公开(公告)号:CN112616014A

    公开(公告)日:2021-04-06

    申请号:CN202011450489.4

    申请日:2020-12-09

    Applicant: 福州大学

    Abstract: 本发明涉及一种基于GAN的全景视频自适应流传输方法,首先构建时域相似性图,通过GAN网络进行时域相似性的提取,以生成潜码代替部分视频帧传输,并在提取网络的训练过程中考虑重建质量与潜码的码率之间的权衡,同时引入了码率自适应控制机制,根据当前网络情况来进行潜码码率的调整,以提高带宽利用率。在编码器端,使用卷积网络提取偶数视频帧的潜码作为辅助信息,并构建模型的码率与重建质量联合代价函数。在解码器端,GAN的生成器将奇数视频帧与偶数视频帧的潜码结合起来以重构偶数视频帧。本发明采用GAN提取的潜码替代偶数视频帧在网络中进行传输,实现更好的率失真性能,并且码率控制机制能够有效的匹配复杂多变的网络带宽,提升了带宽使用率。

    一种基于GAN的全景视频自适应流传输方法

    公开(公告)号:CN112616014B

    公开(公告)日:2022-03-15

    申请号:CN202011450489.4

    申请日:2020-12-09

    Applicant: 福州大学

    Abstract: 本发明涉及一种基于GAN的全景视频自适应流传输方法,首先构建时域相似性图,通过GAN网络进行时域相似性的提取,以生成潜码代替部分视频帧传输,并在提取网络的训练过程中考虑重建质量与潜码的码率之间的权衡,同时引入了码率自适应控制机制,根据当前网络情况来进行潜码码率的调整,以提高带宽利用率。在编码器端,使用卷积网络提取偶数视频帧的潜码作为辅助信息,并构建模型的码率与重建质量联合代价函数。在解码器端,GAN的生成器将奇数视频帧与偶数视频帧的潜码结合起来以重构偶数视频帧。本发明采用GAN提取的潜码替代偶数视频帧在网络中进行传输,实现更好的率失真性能,并且码率控制机制能够有效的匹配复杂多变的网络带宽,提升了带宽使用率。

Patent Agency Ranking