公开(公告)号：CN118656784A

公开(公告)日：2024-09-17

申请号：CN202410830273.2

申请日：2024-06-25

Applicant: 西安交通大学

Inventor： 伏晓 ,  惠维 ,  李玺喆 ,  丁菡 ,  赵鲲 ,  王鸽 ,  赵衰 ,  赵季中

IPC: G06F18/25 ,  G06F18/2415 ,  G06V20/40 ,  G06V40/16 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/084 ,  G10L25/63 ,  G10L25/24 ,  G10L25/30

Abstract: 本发明公开了一种基于多模态融合的情感识别方法、系统、设备及介质，获取两个或两个以上模态的数据，对数据进行预处理和特征提取，再将数据划分为训练集和测试集；利用训练集对预先建立的多通道特征增强融合情感分析网络模型进行训练，将测试集输入训练好的多通道特征增强融合情感分析网络模型中，得到最终的情感预测结果。本发明整体提升了语音、文本、图像混合数据下的情感识别性能；同时，在克服模型泛化能力弱、模型规模大、模态不平衡问题方面进行了探索并提供了解决方案；能够为后续相关领域的技术研究和技术应用提供参考。

公开(公告)号：CN119028378A

公开(公告)日：2024-11-26

申请号：CN202410975728.X

申请日：2024-07-19

Applicant: 西安交通大学

Inventor： 王志 ,  高健康 ,  伏晓 ,  惠维 ,  赵鲲

IPC: G10L25/63 ,  G10L15/26 ,  G10L15/18 ,  G10L17/04

Abstract: 本发明公开了一种引入文本模态的语音情感识别方法及相关装置，对两个或两个以上模态的输入数据进行预处理和特征提取；然后送入引入文本模态的语音情感识别模型中，得到最终的情感预测结果；采用模态融合网络，并且利用图神经网络对文本显性情感语义信息进行特征提取，对于文本模态的利用效率更高，可以对多模态表示执行融合操作，通过引入文本辅助网络帮助主网络获取更多有效信息，减少噪声和有害信息的影响。