-
公开(公告)号：CN119520831A
公开(公告)日：2025-02-25
申请号：CN202411494673.7
申请日：2024-10-24
Applicant: 清华大学
IPC: H04N19/85 , H04N19/70 , H04N19/96 , G06N3/0455 , G06N3/0464
Abstract: 本申请提供一种超高清视频的语义通信方法及系统，涉及语义通信技术领域，基于待编码视频P帧和信道状态，利用视频P帧语义特征提取器，得到语义特征；基于语义特征，利用基于四叉树的空域熵模型得到四步语义重要性；基于语义特征和四步语义重要性，利用四路语义特征编解码器，得到收到的语义特征；基于收到的语义特征和信道状态，以及多尺度参考上下文特征，利用语义信息恢复器和去噪增强模块，重建出视频P帧。利用CNN构建的模块提取和恢复视频帧语义特征，利用Swin‑Transformer构建的编解码模块处理视频帧的语义特征，这不仅提高了编解码效率，也增强了模型对视频内容的理解能力，有助于更好地重建高质量的视频内容，并控制模型参数规模大小。
-
公开(公告)号：CN119383363A
公开(公告)日：2025-01-28
申请号：CN202411494669.0
申请日：2024-10-24
Applicant: 清华大学
IPC: H04N19/85 , H04N19/70 , H04N19/90 , G06N3/0455 , G06N3/0464
Abstract: 本申请提供一种高分辨率图像的语义通信方法及系统，涉及语义通信技术领域，获取待编码图像的语义特征和超先验；将语义特征切分为四组特征元素；基于四组特征元素、超先验、信道状态，得到四步空域先验和语义重要性；基于第i步估计索引对应的特征元素组合、第i步语义重要性、第i路之前各路的语义特征编码结果和信道状态，利用语义特征编解码器，得到收到的语义特征；基于收到的语义特征和信道状态，利用语义信息恢复器和去噪增强模块，重建出图像。采用构建的模块提取和恢复图像的语义特征，利用编解码器处理图像的语义特征，提高编解码效率，增强模型对图像内容的理解能力，有助于更好地重建高质量的图像内容。
-
公开(公告)号：CN119325081A
公开(公告)日：2025-01-17
申请号：CN202411310238.4
申请日：2024-09-19
IPC: H04W12/03 , G06N3/0455 , G06N3/08 , H04W12/04
Abstract: 本发明公开了一种面向端到端无线通信场景的加密语义通信方法，包括构造加密语义通信系统，并基于预设的网络总损失函数进行系统网络训练，其中，网络总损失函数是基于通信接收端的损失函数和攻击者网络模型的损失函数得到的，网络训练完成后，将原始文本信息映射到高维的向量表示中得到嵌入向量，并将提取的语义特征和会话密钥输入加密模块得到密文消息，将密文消息输入信道编码器生成在无线信道上传输的符号流；利用通信接收端接收对应符号流的信号，并将信号依次经过信道解码器、解密模块和语义解码器得到重构的原始文本信息。本发明能够在不影响语义特征的提取与交互的前提下，为合法用户传输的关键语义信息提供机密性保护。
-
公开(公告)号：CN118764644A
公开(公告)日：2024-10-11
申请号：CN202410972632.8
申请日：2024-07-19
Applicant: 清华大学
IPC: H04N19/61 , H04N19/147 , H04N19/119 , G06T9/00 , G06N3/08
Abstract: 本发明提供一种基于语义增强的HEVC编码方法和装置，包括：获取原始编码和待编码视频；将所述待编码视频的图像帧依次输入至预先训练的CTU分割结果预测模型，得到CTU分割预测结果；根据所述原始编码对所述待编码视频进行编码；根据所述CTU分割预测结果执行所述编码过程中的率失真优化过程，得到目标编码；其中，所述CTU分割结果预测模型是基于深度神经网络利用海量视频文件样本训练得到的。本发明使用深度神经网络提取语义信息以预测CTU分割结果，根据神经网络的预测结果优化率失真优化遍历过程，从而优化编码方法，在不改变编码性能的同时节约编码时间。同时由于本发明与现有代码进行了结合，节约了部署成本。
-
公开(公告)号：CN117880492A
公开(公告)日：2024-04-12
申请号：CN202311593629.7
申请日：2023-11-27
Applicant: 清华大学
Abstract: 本发明提供一种视频质量评价方法、装置、电子设备及存储介质，所述方法包括：获取待传输视频在传输过程中的网络参数；将所述网络参数输入至预训练得到的深度神经网络模型，得到所述深度神经网络模型输出所述待传输视频的传输后的视频质量评分。从而在视频传输业务发生的同时即能够对传输后的视频质量进行预测，实现对待传输视频自动、即时进行视频质量评价。
-
Patent Agency Ranking
公开(公告)号：CN119380729A
公开(公告)日：2025-01-28
申请号：CN202411509802.5
申请日：2024-10-28
Applicant: 清华大学 , 南通先进通信技术研究院有限公司
IPC: G10L19/00 , G10L15/26 , G10L19/008 , H04B7/185
Abstract: 本发明提供了一种面向卫星网络的语义通信方法、装置及电子设备，涉及无线通信领域。包括：发送端通过预处理模块提取并记录原始语音信号中的用户特征及声音信息；通过降维模块对原始语音信号降维处理为文字信号；依次通过语义提取模块、语义表征模块将文字信号处理为语义特征；通过信道编码模块基于地面与卫星之间信道状态，将语义特征编码为语义特征向量；通过信道传输语义特征向量；接收端通过信道接收语义特征向量，通过信道解码模块，根据信道状态进行反向适配得到解码后的语义特征；通过语义解码模块得到解码后的文字信号；通过语义重建模块将文字信号与用户特征及声音信息合成得到重构后的语音信号，实现了面向卫星网络的语义通信。
-
公开(公告)号：CN119107970A
公开(公告)日：2024-12-10
申请号：CN202310685415.6
申请日：2023-06-09
Applicant: 清华大学 , 中国移动通信集团有限公司研究院
Abstract: 本发明提供一种语义通信方法、装置、设备及可读存储介质，以解决针对多模态数据传输的通信系统的语义通信效果较差的问题。本方法包括基于目标视频和语义知识库，生成所述目标视频的时空草图信息，所述时空草图信息包括如下至少一项：所述目标视频中的目标对象，所述目标对象的属性信息，所述目标对象的关系信息；对所述时空草图信息进行语义流传输；基于所述时空草图信息生成重建视频，并基于所述重建视频进行优化处理。本发明可以极大节省带宽资源，提高针对多模态数据的语义通信的效果。
-
公开(公告)号：CN119107932A
公开(公告)日：2024-12-10
申请号：CN202310675750.8
申请日：2023-06-08
Applicant: 清华大学 , 中国移动通信集团有限公司研究院
IPC: G10L13/08 , G10L13/027 , G10L13/033
Abstract: 本发明提供一种数据处理方法、装置、终端设备及可读存储介质，涉及通信技术领域。该方法包括：接收第二设备发送的第一信号；对所述第一信号进行解码，得到第一语义特征；根据所述第二设备侧用户的第一声音特性以及所述第一语义特征，输出所述第一声音特性的第一语音信息。本发明的方案，在对所述第二设备侧用户的语音进行传输时，仅对语音的文字特征进行传输，减少了传输数据量，节省了通信资源；根据第二设备侧用户的第一声音特性，能够输出与所述第二设备侧用户声音音色相似的所述第一语音信息，保证了语音信息的有效传输。解决了不考虑接收端用户具体需要的信息格式，均传输整体语音信号，浪费了通信资源且容易造成数据拥堵的问题。
-
公开(公告)号：CN118823291A
公开(公告)日：2024-10-22
申请号：CN202310434335.3
申请日：2023-04-21
Applicant: 清华大学 , 中国移动通信有限公司研究院 , 中国移动通信集团有限公司
IPC: G06V10/20 , G06V10/40 , G06V10/82 , G06N3/0455 , G06N3/08
Abstract: 本申请公开了一种场景图生成方法、装置、电子设备及可读存储介质，属于人工智能技术领域。该方法包括：获取目标图像；对目标图像进行目标检测，获得第一候选区域和第二候选区域，所述第一候选区域为单个物体对应的区域，所述第二候选区域为具有主谓宾关系的单个物体对对应的区域；对第一候选区域和第二候选区域进行特征提取，获得第一特征和第二特征；将第一特征输入到双分支Transformer模型的第一分支中进行处理，获得上下文化的物体特征，和将第二特征输入到双分支Transformer模型的第二分支中进行处理，获得上下文化的区域关系特征；根据所述物体特征和区域关系特征，生成目标图像的场景图。由此，可以准确生成场景图。
-
公开(公告)号：CN118350416B
公开(公告)日：2024-08-20
申请号：CN202410773829.9
申请日：2024-06-17
Applicant: 清华大学
IPC: G06N3/0455 , G06F40/30
Abstract: 本申请提供一种基于大模型的多模态语义通信方法、系统、设备及介质，涉及语义通信技术领域，获取预训练的大语言模型编解码器以及多模态数据；利用待训练的与模态相关的编解码器、投影器和预训练的大语言模型编解码器分步构建待训练的收发端语义大模型；保持预训练的大语言模型编解码器的参数不变，循环交替训练编解码器、投影器和信道编解码器得到收发端语义大模型；利用收发端语义大模型，进行多模态数据的传输和重建。通过上述方法实现对多模态数据的统一语义提取与融合表征，确保语义映射的准确性和稳定性，从而消除模态间的信息冗余，实现高效的多模态数据语义对齐与融合，提升通信系统的通用性和扩展性。
-
-
-
-
-
-
-
-
-
Search Results
22
records
(took 0.016 seconds)
