-
公开(公告)号：CN116523758A
公开(公告)日：2023-08-01
申请号：CN202310801631.2
申请日：2023-07-03
Applicant: 清华大学 , 南通先进通信技术研究院有限公司
IPC: G06T3/40 , H04N19/132 , H04N19/137 , H04N19/182 , H04N19/61 , G06N3/044 , G06N3/048 , G06N3/084
Abstract: 本发明涉及高清视频重建技术领域，提供了一种基于关键帧的端云联合超分辨视频重建方法及系统，包括：获取原始高清视频，进行下采样生成低分辨率视频流提取高清关键帧；删除重复帧生成去重低分辨率视频流；将去重低分辨率视频流进行编码生成低清视频码流，将高清关键帧进行编码生成关键帧码流；将低清视频码流、关键帧码流和删除重复帧的位置发送至视频处理端；视频处理端解码获取去重低分辨率视频流和高清关键帧并输入至更新后的视频超分模型，生成复原高清帧；根据重复帧信息复制对应的复原高清帧生成重复帧的复原高清帧，将所有的复原高清帧组装为高清视频进行输出。本发明解决了现有高清视频传输成本高、清晰度不佳的问题。
-
公开(公告)号：CN119561650A
公开(公告)日：2025-03-04
申请号：CN202411509807.8
申请日：2024-10-28
Applicant: 清华大学 , 南通先进通信技术研究院有限公司
Abstract: 本申请提供一种信道环境自适应的采样‑语义‑信道编码联合优化方法及系统，涉及语义通信技术领域，发送端对需要传输的图像进行语义采样，得到语义采样结果；发送端将所述语义采样结果输入编码器，得到需要传输的图像特征向量；接收端接收受到物理信道噪声影响的图像特征向量并进行预处理；接收端将预处理结果输入解码器，得到需要语义重建的图像特征向量；接收端根据所述需要语义重建的图像特征向量进行语义重建，得到重建图像。在本申请中提出的方法中联合了信源和信道的特性，在考虑语义采样和重建的同时，可支持信噪比多变环境下的图像传输，保证图像的重建质量。
-
公开(公告)号：CN119402709A
公开(公告)日：2025-02-07
申请号：CN202411501483.3
申请日：2024-10-25
Applicant: 清华大学 , 南通先进通信技术研究院有限公司
IPC: H04N21/4402 , H04N21/44
Abstract: 本申请提供一种面向基于深度学习视频编解码器的辅助流抗误码网络传输方法，涉及视频传输技术领域，解码端使用出错的码流进行编解码，在编解码的过程中，将出错的码流对应的解码结果置为全零，得到有轻微失真的解码重建帧APn‑1；所述解码端将所述解码重建帧APn‑1作为参考图像，并刷新所述解码端的解码缓冲器，将除了所述参考图像以外的参考内容全部置为None的情况下进行编解码，得到正确解码重建帧APn。该方法是一种低错误的网络传输方法，在保证视频重建质量的同时降低传输的带宽需求，增强了基于深度学习的视频编解码器的抗误码鲁棒性。
-
公开(公告)号：CN118802065A
公开(公告)日：2024-10-18
申请号：CN202311311826.5
申请日：2023-10-11
Applicant: 清华大学 , 中国移动通信集团有限公司研究院
IPC: H04L1/00 , G06F40/232 , G06F40/30 , H04L69/04
Abstract: 本发明提供文本通信方法、设备及介质，涉及通信技术领域，其中，所述文本通信方法包括：获取第一文本的第一特征向量；对所述第一特征向量进行语义编码，得到第一语义信息；对所述第一语义信息进行信道编码，得到第二语义信息；向第二设备发送所述第二语义信息；其中，所述第二设备用于第二语义信息的信道解码和语义解码。本发明实施例中，在进行语义编码之后，会进行语义纠错，以使得接送端在接收到文本语义后，会对文本语义进行有效解码，从而在传输文本的同时，实现文本纠错的功能。即通过语义的编码和解码实现文本错误的纠正，在将文本纠错过程与通信过程进行融合，从而提高传输和计算资源的利用率。
-
公开(公告)号：CN116543769A
公开(公告)日：2023-08-04
申请号：CN202310675367.2
申请日：2023-06-08
Applicant: 清华大学
IPC: G10L15/26 , G10L25/30 , H04B7/0413
Abstract: 本公开提供了一种基于语义感知网络的MIMO语音传输方法和系统，涉及通信技术领域，旨在解决传统通信忽略语义信息的问题。所述方法应用于基于语义感知网络的MIMO语音传输系统，所述基于语义感知网络的MIMO语音传输系统包括发送端、多进多出信道和接收端，发送端包括语义编码器和信道编码器，接收端包括信道解码器和特征解码器；所述方法包括：将待传输语音输入语义编码器，得到待传输语音的多个语义特征；将多个语义特征输入信道编码器，得到每个语义特征映射成的复数向量；利用多进多出信道，将多个复数向量传输至接收端；将多个复数向量输入信道解码器，得到多个文字语义特征；将多个文字语义特征输入特征解码器，得到重建文字。
-
Patent Agency Ranking
公开(公告)号：CN118780348A
公开(公告)日：2024-10-15
申请号：CN202410787393.9
申请日：2024-06-18
Applicant: 清华大学
IPC: G06N3/098 , G06N3/082 , G06N3/045 , G06N3/0495 , G06N3/084
Abstract: 本发明实施例提供了一种用于无线边缘网络的大模型分布式微调联邦分割学习方法、系统及介质，涉及计算机技术领域。方法包括：多个本地设备中的每个本地设备将本地训练数据输入本地的设备侧模型，得到中间输出结果并传输给服务器；服务器利用服务器侧模型对多个中间输出结果进行处理，得到设备侧模型梯度和服务器侧模型梯度；服务器使用服务器侧模型梯度更新服务器侧模型的参数，每个本地设备利用设备侧模型梯度更新本地的设备侧模型的参数；至少依据神经元重要性评分，对服务器侧模型和设备侧模型进行剪枝，基于剪枝后的服务器侧模型和设备侧模型继续协同训练，得到训练完毕的大模型，以实现无线网络环境中高效地进行大模型微调。
-
公开(公告)号：CN118350416A
公开(公告)日：2024-07-16
申请号：CN202410773829.9
申请日：2024-06-17
Applicant: 清华大学
IPC: G06N3/0455 , G06F40/30
Abstract: 本申请提供一种基于大模型的多模态语义通信方法、系统、设备及介质，涉及语义通信技术领域，获取预训练的大语言模型编解码器以及多模态数据；利用待训练的与模态相关的编解码器、投影器和预训练的大语言模型编解码器分步构建待训练的收发端语义大模型；保持预训练的大语言模型编解码器的参数不变，循环交替训练编解码器、投影器和信道编解码器得到收发端语义大模型；利用收发端语义大模型，进行多模态数据的传输和重建。通过上述方法实现对多模态数据的统一语义提取与融合表征，确保语义映射的准确性和稳定性，从而消除模态间的信息冗余，实现高效的多模态数据语义对齐与融合，提升通信系统的通用性和扩展性。
-
公开(公告)号：CN118338005A
公开(公告)日：2024-07-12
申请号：CN202410773870.6
申请日：2024-06-17
Applicant: 清华大学
IPC: H04N19/176
Abstract: 本发明提供了一种具有多尺度视觉变换器的鲁棒图像语义通信系统及方法，涉及人工智能技术领域。本发明实施例中，基于多尺度视觉转换器的鲁棒语义通信系统中，语义编码端包括粗粒度和细粒度语义提取器以及语义融合模块，细粒度分支结合了一个语义重要性评估模块来选择关键语义，而粗粒度分支则采用分层策略来逐步生成鲁棒语义。语义融合模块将来自双分支的语义信息与交叉注意力机制相融合。从而，基于多尺度视觉转换器的鲁棒语义通信系统促进了多尺度语义的提取，并展示了其在减轻语义损伤方面的有效性，从而标志着朝着实现鲁棒的语义通信迈出了重要一步。
-
公开(公告)号：CN116523758B
公开(公告)日：2023-09-19
申请号：CN202310801631.2
申请日：2023-07-03
Applicant: 清华大学 , 南通先进通信技术研究院有限公司
IPC: G06T3/40 , H04N19/132 , H04N19/137 , H04N19/182 , H04N19/61 , G06N3/044 , G06N3/048 , G06N3/084
Abstract: 本发明涉及高清视频重建技术领域，提供了一种基于关键帧的端云联合超分辨视频重建方法及系统，包括：获取原始高清视频，进行下采样生成低分辨率视频流提取高清关键帧；删除重复帧生成去重低分辨率视频流；将去重低分辨率视频流进行编码生成低清视频码流，将高清关键帧进行编码生成关键帧码流；将低清视频码流、关键帧码流和删除重复帧的位置发送至视频处理端；视频处理端解码获取去重低分辨率视频流和高清关键帧并输入至更新后的视频超分模型，生成复原高清帧；根据重复帧信息复制对应的复原高清帧生成重复帧的复原高清帧，将所有的复原高清帧组装为高清视频进行输出。本发明解决了现有高清视频传输成本高、清晰度不佳的问题。
-
公开(公告)号：CN116527833B
公开(公告)日：2023-09-05
申请号：CN202310801627.6
申请日：2023-07-03
Applicant: 清华大学 , 南通先进通信技术研究院有限公司
Abstract: 本发明涉及视频处理技术领域，提供了一种基于超分模型的高清视频生成方法及系统，包括：获取高清关键帧和低分辨率视频流，进行特征提取并输入至超分模型；通过网格传播的方式对提取的特征进行传播，将参考帧特征进行光流扭曲后传播至中心帧；通过光流引导的可变形卷积方法将参考帧与中心进行对齐；在参考帧与中心帧对齐后进行特征拼接，经过连续的多个残差块完成特征融合；基于融合后的特征通过注意力过滤器获取最终的特征映射，通过像素洗牌层进行上采样从而得到重建的高清帧，输出高清视频。本发明解决了现有高清视频生成质量差、速度慢的问题。
-
-
-
-
-
-
-
-
-
Search Results
22
records
(took 0.043 seconds)
