公开(公告)号：CN116664731A

公开(公告)日：2023-08-29

申请号：CN202310753806.7

申请日：2023-06-21

Applicant: 华院计算技术(上海)股份有限公司

Inventor： 胡航海 ,  王晓梅 ,  沈旭立 ,  徐清 ,  戈维峰

IPC: G06T13/40 ,  G06V10/774 ,  G10L15/06

Abstract: 一种人脸动画生成方法及装置、计算机可读存储介质、终端，方法包括：对输入音频进行特征提取，得到语音特征序列；基于语音特征序列、参考人脸动画以及预训练模型，进行多轮迭代，得到多帧人脸生成动画，其中，在每轮迭代中，采用下述方式确定当前轮的人脸生成动画：基于之前各轮得到的人脸生成动画确定当前轮的人脸动画序列，并对当前轮的人脸动画序列、当前轮的初始化人脸动画以及参考人脸动画进行拼接；将当前轮的人脸动画拼接结果与当前轮的语音特征拼接结果输入预训练模型，得到预测噪声；采用预测噪声对当前轮的初始化人脸动画进行去噪处理，得到当前轮的人脸生成动画。上述方案有助于提高生成的人脸动画之间的表情状态的平滑性和连贯性。

公开(公告)号：CN116664731B

公开(公告)日：2024-03-29

申请号：CN202310753806.7

申请日：2023-06-21

Applicant: 华院计算技术(上海)股份有限公司

Inventor： 胡航海 ,  王晓梅 ,  沈旭立 ,  徐清 ,  戈维峰

IPC: G06T13/40 ,  G06V10/774 ,  G10L15/06

Abstract: 一种人脸动画生成方法及装置、计算机可读存储介质、终端，方法包括：对输入音频进行特征提取，得到语音特征序列；基于语音特征序列、参考人脸动画以及预训练模型，进行多轮迭代，得到多帧人脸生成动画，其中，在每轮迭代中，采用下述方式确定当前轮的人脸生成动画：基于之前各轮得到的人脸生成动画确定当前轮的人脸动画序列，并对当前轮的人脸动画序列、当前轮的初始化人脸动画以及参考人脸动画进行拼接；将当前轮的人脸动画拼接结果与当前轮的语音特征拼接结果输入预训练模型，得到预测噪声；采用预测噪声对当前轮的初始化人脸动画进行去噪处理，得到当前轮的人脸生成动画。上述方案有助于提高生成的人脸动画之间的表情状态的平滑性和连贯性。