公开(公告)号：CN113573140A

公开(公告)日：2021-10-29

申请号：CN202110780052.5

申请日：2021-07-09

Applicant: 西安交通大学

Inventor： 张未展 ,  袁丹夫 ,  郑庆华 ,  罗军锋 ,  王志文 ,  杜海鹏 ,  刘峰 ,  王洋 ,  刘汇川 ,  甄宝珠 ,  刘迅承 ,  张志浩 ,  张凯喆

IPC: H04N21/4402 ,  H04N21/4415 ,  H04N19/124 ,  H04N19/132 ,  H04N19/167 ,  H04N19/176 ,  H04L29/06

Abstract: 一种支持人脸检测与实时超分辨率的码率自适应决策方法，通过YcbCr色度检测和帧间代价判定得到各宏块的人脸区域信息和纹理运动区域信息，计算得到各宏块的兴趣区域等级和帧内因子；结合兴趣区域等级和帧内因子，设计兴趣编码量化方案，并集成到H.264编码器中，对视频进行多种码率编码；将编码后的视频进行切割封装，客户端根据码率自适应决策模块的反馈结果将相应的视频文件下载至缓冲区，在缓冲区内完成超分辨率重建，重新编码后替换原视频块，播放器播放质量增强后的视频块。本发明可使编码后的人脸视频图像在保证主观质量的同时尽可能压缩视频大小，达到降低带宽消耗的目的，同时保证视频图像中重要区域的高码率，提升视频清晰程度。

公开(公告)号：CN113573140B

公开(公告)日：2022-05-03

申请号：CN202110780052.5

申请日：2021-07-09

Applicant: 西安交通大学

Inventor： 张未展 ,  袁丹夫 ,  郑庆华 ,  罗军锋 ,  王志文 ,  杜海鹏 ,  刘峰 ,  王洋 ,  刘汇川 ,  甄宝珠 ,  刘迅承 ,  张志浩 ,  张凯喆

IPC: H04N21/4402 ,  H04N21/4415 ,  H04N19/124 ,  H04N19/132 ,  H04N19/167 ,  H04N19/176 ,  H04L65/60 ,  H04L65/80

Abstract: 一种支持人脸检测与实时超分辨率的码率自适应决策方法，通过YcbCr色度检测和帧间代价判定得到各宏块的人脸区域信息和纹理运动区域信息，计算得到各宏块的兴趣区域等级和帧内因子；结合兴趣区域等级和帧内因子，设计兴趣编码量化方案，并集成到H.264编码器中，对视频进行多种码率编码；将编码后的视频进行切割封装，客户端根据码率自适应决策模块的反馈结果将相应的视频文件下载至缓冲区，在缓冲区内完成超分辨率重建，重新编码后替换原视频块，播放器播放质量增强后的视频块。本发明可使编码后的人脸视频图像在保证主观质量的同时尽可能压缩视频大小，达到降低带宽消耗的目的，同时保证视频图像中重要区域的高码率，提升视频清晰程度。

公开(公告)号：CN116017003A

公开(公告)日：2023-04-25

申请号：CN202310028902.5

申请日：2023-01-09

Applicant: 西安交通大学

Inventor： 闫彩霞 ,  张凯喆 ,  刘汇川 ,  郑庆华 ,  杜海鹏 ,  王志文 ,  曹坚翔 ,  袁慕遥 ,  王洋 ,  张志浩 ,  张未展

IPC: H04N21/262 ,  H04N21/647 ,  H04N21/845 ,  H04N21/231 ,  H04N21/433

Abstract: 本发明提出一种基于多种人工智能方法的自适应VR360视频点播方法及系统，利用生成对抗网络对原始视频进行显著性检测，根据检测结果将原始视频动态划分为多个空间分块并储存在服务器中；请求视频并观看视频时，使用长短记忆网络建立网络轨迹特征的提取模型，预测未来时刻带宽信息；将预测的带宽信息和过去视口轨迹信息作为码率决策的状态输入，利用PPO算法训练A3C网络决策对应的最优码率；根据码率决策结果将相应的视频块进行下载并播放；可以保证生成对抗网络可以最大限度划分视频区域；能够充分提取网络状态进行带宽预测，为码率自适应决策提供有效输入；基于视口预测的方法能够最大限度利用网络进行有效传输，减少带宽浪费，有效提升用户观看质量。