-
公开(公告)号:CN118942488A
公开(公告)日:2024-11-12
申请号:CN202411169109.8
申请日:2024-08-23
Applicant: 中国科学院自动化研究所
IPC: G10L25/63 , G10L25/03 , G10L25/30 , G06F18/25 , G06F16/332
Abstract: 本发明提供一种多模态情绪识别方法、装置、设备、存储介质及程序产品,应用于自然语言处理技术领域。该方法包括:获取语音数据和对应的文本数据;分别对所述语音数据和所述文本数据进行编码处理,得到每个模态数据的中间特征表示;确定所述中间特征表示中的情感属性信息,并根据所述情感属性信息确定空间模态表征;根据向量的置信度分数过滤所述空间模态表征中低置信度的模态表征,得到目标表征向量;对所述目标表征向量进行融合处理,并基于融合结果进行情绪识别。