公开(公告)号：CN119402709A

公开(公告)日：2025-02-07

申请号：CN202411501483.3

申请日：2024-10-25

Applicant: 清华大学 ,  南通先进通信技术研究院有限公司

Inventor： 秦志金 ,  曹昊 ,  黄印桓 ,  陶晓明 ,  刘帅

IPC: H04N21/4402 ,  H04N21/44

Abstract: 本申请提供一种面向基于深度学习视频编解码器的辅助流抗误码网络传输方法，涉及视频传输技术领域，解码端使用出错的码流进行编解码，在编解码的过程中，将出错的码流对应的解码结果置为全零，得到有轻微失真的解码重建帧APn‑1；所述解码端将所述解码重建帧APn‑1作为参考图像，并刷新所述解码端的解码缓冲器，将除了所述参考图像以外的参考内容全部置为None的情况下进行编解码，得到正确解码重建帧APn。该方法是一种低错误的网络传输方法，在保证视频重建质量的同时降低传输的带宽需求，增强了基于深度学习的视频编解码器的抗误码鲁棒性。

公开(公告)号：CN119520831A

公开(公告)日：2025-02-25

申请号：CN202411494673.7

申请日：2024-10-24

Applicant: 清华大学

Inventor： 黄印桓 ,  秦志金 ,  应憬恺

IPC: H04N19/85 ,  H04N19/70 ,  H04N19/96 ,  G06N3/0455 ,  G06N3/0464

Abstract: 本申请提供一种超高清视频的语义通信方法及系统，涉及语义通信技术领域，基于待编码视频P帧和信道状态，利用视频P帧语义特征提取器，得到语义特征；基于语义特征，利用基于四叉树的空域熵模型得到四步语义重要性；基于语义特征和四步语义重要性，利用四路语义特征编解码器，得到收到的语义特征；基于收到的语义特征和信道状态，以及多尺度参考上下文特征，利用语义信息恢复器和去噪增强模块，重建出视频P帧。利用CNN构建的模块提取和恢复视频帧语义特征，利用Swin‑Transformer构建的编解码模块处理视频帧的语义特征，这不仅提高了编解码效率，也增强了模型对视频内容的理解能力，有助于更好地重建高质量的视频内容，并控制模型参数规模大小。

公开(公告)号：CN119383363A

公开(公告)日：2025-01-28

申请号：CN202411494669.0

申请日：2024-10-24

Applicant: 清华大学

Inventor： 秦志金 ,  黄印桓 ,  应憬恺 ,  陶晓明

IPC: H04N19/85 ,  H04N19/70 ,  H04N19/90 ,  G06N3/0455 ,  G06N3/0464

Abstract: 本申请提供一种高分辨率图像的语义通信方法及系统，涉及语义通信技术领域，获取待编码图像的语义特征和超先验；将语义特征切分为四组特征元素；基于四组特征元素、超先验、信道状态，得到四步空域先验和语义重要性；基于第i步估计索引对应的特征元素组合、第i步语义重要性、第i路之前各路的语义特征编码结果和信道状态，利用语义特征编解码器，得到收到的语义特征；基于收到的语义特征和信道状态，利用语义信息恢复器和去噪增强模块，重建出图像。采用构建的模块提取和恢复图像的语义特征，利用编解码器处理图像的语义特征，提高编解码效率，增强模型对图像内容的理解能力，有助于更好地重建高质量的图像内容。