公开(公告)号：CN114143541A

公开(公告)日：2022-03-04

申请号：CN202111320006.3

申请日：2021-11-09

Applicant: 华中科技大学

Inventor： 王巍 ,  肖雪豆 ,  张珏城

IPC: H04N19/124 ,  H04N19/146 ,  H04N19/159 ,  H04N19/164 ,  H04N19/176 ,  H04N19/182 ,  H04N19/192 ,  H04N19/423 ,  G06N3/04

Abstract: 本发明公开了一种面向语义分割的云边协同视频压缩上载方法及装置，属于无线通信与计算机视觉交叉领域。一方面，云服务器在离线阶段针对语义分割DNN定制不同级别的以像素块为单位的量化表；在在线阶段根据边缘端设备上载的视频帧生成空间自适应的压缩策略，并将该压缩策略与语义分割结果一同反馈到边缘端设备；另一方面，边缘端设备将每次反馈得到的压缩策略与语义分割结果缓存在本地，并基于时间相关性提取视频光流信息，将压缩策略与语义分割结果从上载帧传播到当前帧，并进一步选取关键帧上载到云端以适应视频变化。如此，能够在保障上载视频语义分割精度的同时最小化上载的视频体积，从而促进语义分割技术在海量边缘端设备的大规模应用。

公开(公告)号：CN114143541B

公开(公告)日：2023-02-14

申请号：CN202111320006.3

申请日：2021-11-09

Applicant: 华中科技大学

Inventor： 王巍 ,  肖雪豆 ,  张珏城

IPC: H04N19/124 ,  H04N19/146 ,  H04N19/159 ,  H04N19/164 ,  H04N19/176 ,  H04N19/182 ,  H04N19/192 ,  H04N19/423 ,  G06N3/04

Abstract: 本发明公开了一种面向语义分割的云边协同视频压缩上载方法及装置，属于无线通信与计算机视觉交叉领域。一方面，云服务器在离线阶段针对语义分割DNN定制不同级别的以像素块为单位的量化表；在在线阶段根据边缘端设备上载的视频帧生成空间自适应的压缩策略，并将该压缩策略与语义分割结果一同反馈到边缘端设备；另一方面，边缘端设备将每次反馈得到的压缩策略与语义分割结果缓存在本地，并基于时间相关性提取视频光流信息，将压缩策略与语义分割结果从上载帧传播到当前帧，并进一步选取关键帧上载到云端以适应视频变化。如此，能够在保障上载视频语义分割精度的同时最小化上载的视频体积，从而促进语义分割技术在海量边缘端设备的大规模应用。