公开(公告)号：CN117809632A

公开(公告)日：2024-04-02

申请号：CN202310877116.2

申请日：2023-07-17

Applicant: 海信视像科技股份有限公司

Inventor： 翟正元 ,  刘韶 ,  付爱国

IPC: G10L15/16 ,  G06T19/00 ,  G06N3/0464 ,  G06N3/0455 ,  G06V10/764 ,  G06N3/08 ,  G10L15/22 ,  G10L17/02 ,  G10L17/18 ,  G10L17/22 ,  G10L25/18 ,  G10L25/30

Abstract: 本申请一些实施例示出一种显示设备及虚拟数字人生成方法，所述方法包括：接收用户输入的第一语音数据；获取第二语音数据；将第二语音数据切分为多个音频数据；将音频数据输入第一矢量化自动编码器，获取语音特征；将语音特征投影到文本动作字典，获取第一嵌入字典表征；将第一嵌入字典表征输入解码器中，获取预测关节点序列；基于预测关节点序列绘制虚拟数字人；在播放音频数据时控制显示器显示音频数据对应的虚拟数字人。本申请实施例结合文本数据与矢量化自动编码器方法学习得到文本动作字典，将经编码后语音特征数据投影到文本动作字典，使得编码后的语音特征具有更加准确的高层动作语义特征，从而提高解码后动作姿态序列的准确性。

公开(公告)号：CN117649848A

公开(公告)日：2024-03-05

申请号：CN202211632447.1

申请日：2022-12-19

Applicant: 海信视像科技股份有限公司

Inventor： 翟正元 ,  杨善松 ,  刘韶 ,  付爱国 ,  成刚

IPC: G10L15/18 ,  G10L25/63 ,  G10L15/26 ,  G10L13/02 ,  G10L25/24 ,  G10L15/16

Abstract: 本申请实施例提供了一种语音信号的处理设备及方法，涉及语音处理技术领域。该语音信号的处理方法包括：检测器，被配置为获取语音信号；控制器，被配置为：提取所述语音信号的各个音频帧的语义特征和情绪特征，然后对所述语音信号的各个语音帧的语义特征和情绪特征进行多模态双线性池化，再获取所述语音信号的各个语音帧的融合特征，最终对所述语音信号的各个语音帧的融合特征进行合并，得到所述语音信号的声学特征，本申请实施例用于解决在提取语音特征时，语音特征的表达能力不强的问题。