公开(公告)号：CN119418383A

公开(公告)日：2025-02-11

申请号：CN202411545849.7

申请日：2024-10-31

Applicant: 北京达佳互联信息技术有限公司

Inventor： 张浩贤 ,  陈禾嘉 ,  刘晓强 ,  张渊

IPC: G06V40/16 ,  G06V10/774 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08

Abstract: 本申请实施例公开了一种表情驱动模型的训练方法、表情驱动方法及对应装置。主要技术方案包括：获取包括多个第一训练样本的第一训练数据，所述第一训练样本至少包括：音频样本、与所述音频样本对应的表情控制数据以及表情参数真值，所述表情控制数据至少包括时序控制数据，所述时序控制数据包括所述音频样本的时序内至少一个时间窗口对应的动作类型序列；基于所述第一训练数据训练表情驱动模型，包括：将所述音频样本和与所述音频样本对应的表情控制参数作为所述表情驱动模型的输入，获取所述表情驱动模型输出的表情参数序列。本申请可以提高面部表情的精细化控制效果，使其表情变化更加丰富和生动。

公开(公告)号：CN119007755A

公开(公告)日：2024-11-22

申请号：CN202410931290.5

申请日：2024-07-11

Applicant: 北京达佳互联信息技术有限公司

Inventor： 张浩贤 ,  陈禾嘉 ,  刘晓强 ,  张渊

IPC: G10L25/63 ,  G10L25/03 ,  G10L25/30 ,  G06T13/40

Abstract: 本公开关于一种用于驱动数字人的表情系数的生成方法、装置、电子设备及存储介质，所述方法包括：获取用于驱动数字人的音频数据、包括说话风格信息和说话情绪信息的第一控制信息和包括多个模态的控制信息的第二控制信息；通过语音驱动模块对音频数据进行特征提取处理，得到音频特征；通过第一控制模块对第一控制信息进行特征提取处理，得到说话风格特征和说话情绪特征；通过第二控制模块对第二控制信息进行特征提取处理，得到时序文本特征；将音频特征、说话风格特征、说话情绪特征，以及时序文本特征，输入表情系数生成模块进行处理，得到用于驱动数字人的表情系数。该方法能够丰富对数字人的控制方式，得到符合预期且高表现力的驱动结果。

公开(公告)号：CN118762120A

公开(公告)日：2024-10-11

申请号：CN202410725886.X

申请日：2024-06-05

Applicant: 北京达佳互联信息技术有限公司

Inventor： 郭建珠 ,  张丁芸 ,  刘晓强 ,  张渊 ,  张浩贤

IPC: G06T17/00 ,  G06V10/54 ,  G06V40/16 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0475

Abstract: 本公开关于一种图像处理方法、装置及存储介质。上述方法包括获取包括第一脸部的参考图像和包括第二脸部的第一图像；对参考图像进行纹理特征提取，得到第一脸部对应的参考纹理特征；提取第一脸部对应的中性特征，中性特征为预设头部姿态下无表情的脸部三维关键点特征；提取第二脸部对应的动作状态信息；融合中性特征和第二脸部对应的动作状态信息，得到第一驱动特征；对第一驱动特征进行针对目标部位的重定向处理，得到第二驱动特征，目标部位属于脸部部位；基于第二驱动特征对参考纹理特征进行变形，得到目标纹理特征；基于目标纹理特征，生成第二图像，第二图像具备第一脸部，并且具备第二脸部对应的动作状态信息。本公开提升第二图像的质量。