-
公开(公告)号：CN118052917A
公开(公告)日：2024-05-17
申请号：CN202410028759.4
申请日：2024-01-08
Applicant: 清华大学
IPC: G06T13/40 , G06N3/045 , G06N3/0464 , G06N3/08
Abstract: 本申请涉及语音视频生成技术领域，特别涉及一种文本驱动的语音和人脸动作生成方法、装置、设备及介质，其中，方法包括：获取虚拟数字形象的目标文本；将目标文本输入训练完成的扩散模型，基于扩散模型和目标文本的约束，从噪声中恢复对应时序的人脸动作特征序列与语音特征序列；根据人脸动作特征序列与语音特征序列渲染得到虚拟数字形象的文本驱动的人脸动作视频和对应音频。由此，解决了相关技术中数字形象生成中的自然度低、模态单一、音频获取难、灵活性差以及多模态输入输出数据间时序匹配度低等问题。
Search Results
1
records
(took 0.01 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
