公开(公告)号：CN114254096A

公开(公告)日：2022-03-29

申请号：CN202111591253.7

申请日：2021-12-23

Applicant: 中国传媒大学

Inventor： 宋卿 ,  付瑶 ,  陈国伟 ,  张弛 ,  张鹏洲

IPC: G06F16/332 ,  G06F16/33 ,  G06F40/242 ,  G06F40/279 ,  G06V40/16 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于交互机器人对话的多模态情感预测方法及系统。该方法包括：基于用户与交互机器人的对话，构建多模态特征；对多模态特征的模态时序窗口进行调整；将模态时序窗口调整后的多模态特征进行融合；将融合后的多模态特征输入至训练好的神经网络模型中，进行情感类别预测。本发明将对话中产生的文本、语音和视频三种模态进行融合后进行识别，能够更好地识别用户与客服对话交互之间的情感变化，为提升用户满意度，创建有温度有情感的对话机器人提供知识支撑。