公开(公告)号：CN117672213A

公开(公告)日：2024-03-08

申请号：CN202311406756.1

申请日：2023-10-26

Applicant: 东南大学

Inventor： 李钰雯 ,  韦一潇 ,  袁磊 ,  钟恩

IPC: G10L15/22 ,  G10L15/26 ,  G10L13/08 ,  G10L21/10 ,  G10L15/16 ,  G06T13/40 ,  G06F3/04815 ,  G06N3/0455 ,  G06N20/00

Abstract: 本申请涉及一种基于元宇宙的虚拟数字人交互方法。该方法包括：在虚拟数字人的交互界面中交互事件被触发时，获取所述交互事件被触发时接收到的交互数据，在所述交互数据包括有语音数据的情况下，调用基于CTC模型与Attention模型结合的语音识别模型对所述语音数据进行语音识别处理，获得识别的文本数据，将所述文本数据或识别的文本数据通过api接口输入到chatGPT中进行处理，获得对应的回复数据，调用基于TTS技术的语音转换模型对所述回复文本进行语音转换，获得语音回复数据，根据所述回复文本的内容，控制预先建模好的虚拟数字人执行相应的动作，并播放对应的语音回复数据。由此，提高了元宇宙的虚拟数字人的交互性能。