公开(公告)号：CN119520831A

公开(公告)日：2025-02-25

申请号：CN202411494673.7

申请日：2024-10-24

Applicant: 清华大学

Inventor： 黄印桓 ,  秦志金 ,  应憬恺

IPC: H04N19/85 ,  H04N19/70 ,  H04N19/96 ,  G06N3/0455 ,  G06N3/0464

Abstract: 本申请提供一种超高清视频的语义通信方法及系统，涉及语义通信技术领域，基于待编码视频P帧和信道状态，利用视频P帧语义特征提取器，得到语义特征；基于语义特征，利用基于四叉树的空域熵模型得到四步语义重要性；基于语义特征和四步语义重要性，利用四路语义特征编解码器，得到收到的语义特征；基于收到的语义特征和信道状态，以及多尺度参考上下文特征，利用语义信息恢复器和去噪增强模块，重建出视频P帧。利用CNN构建的模块提取和恢复视频帧语义特征，利用Swin‑Transformer构建的编解码模块处理视频帧的语义特征，这不仅提高了编解码效率，也增强了模型对视频内容的理解能力，有助于更好地重建高质量的视频内容，并控制模型参数规模大小。

公开(公告)号：CN119383363A

公开(公告)日：2025-01-28

申请号：CN202411494669.0

申请日：2024-10-24

Applicant: 清华大学

Inventor： 秦志金 ,  黄印桓 ,  应憬恺 ,  陶晓明

IPC: H04N19/85 ,  H04N19/70 ,  H04N19/90 ,  G06N3/0455 ,  G06N3/0464

Abstract: 本申请提供一种高分辨率图像的语义通信方法及系统，涉及语义通信技术领域，获取待编码图像的语义特征和超先验；将语义特征切分为四组特征元素；基于四组特征元素、超先验、信道状态，得到四步空域先验和语义重要性；基于第i步估计索引对应的特征元素组合、第i步语义重要性、第i路之前各路的语义特征编码结果和信道状态，利用语义特征编解码器，得到收到的语义特征；基于收到的语义特征和信道状态，利用语义信息恢复器和去噪增强模块，重建出图像。采用构建的模块提取和恢复图像的语义特征，利用编解码器处理图像的语义特征，提高编解码效率，增强模型对图像内容的理解能力，有助于更好地重建高质量的图像内容。

公开(公告)号：CN118764644A

公开(公告)日：2024-10-11

申请号：CN202410972632.8

申请日：2024-07-19

Applicant: 清华大学

Inventor： 秦志金 ,  陈常越 ,  杨定熹 ,  应憬恺 ,  陶晓明

IPC: H04N19/61 ,  H04N19/147 ,  H04N19/119 ,  G06T9/00 ,  G06N3/08

Abstract: 本发明提供一种基于语义增强的HEVC编码方法和装置，包括：获取原始编码和待编码视频；将所述待编码视频的图像帧依次输入至预先训练的CTU分割结果预测模型，得到CTU分割预测结果；根据所述原始编码对所述待编码视频进行编码；根据所述CTU分割预测结果执行所述编码过程中的率失真优化过程，得到目标编码；其中，所述CTU分割结果预测模型是基于深度神经网络利用海量视频文件样本训练得到的。本发明使用深度神经网络提取语义信息以预测CTU分割结果，根据神经网络的预测结果优化率失真优化遍历过程，从而优化编码方法，在不改变编码性能的同时节约编码时间。同时由于本发明与现有代码进行了结合，节约了部署成本。

公开(公告)号：CN117880492A

公开(公告)日：2024-04-12

申请号：CN202311593629.7

申请日：2023-11-27

Applicant: 清华大学

Inventor： 秦志金 ,  陶晓明 ,  汪致庸 ,  应憬恺 ,  杨定熹

IPC: H04N17/02 ,  G10L17/04 ,  G10L15/06 ,  G10L15/16

Abstract: 本发明提供一种视频质量评价方法、装置、电子设备及存储介质，所述方法包括：获取待传输视频在传输过程中的网络参数；将所述网络参数输入至预训练得到的深度神经网络模型，得到所述深度神经网络模型输出所述待传输视频的传输后的视频质量评分。从而在视频传输业务发生的同时即能够对传输后的视频质量进行预测，实现对待传输视频自动、即时进行视频质量评价。