公开(公告)号：CN117786596A

公开(公告)日：2024-03-29

申请号：CN202311829110.4

申请日：2023-12-28

Applicant: 东北林业大学

Inventor： 罗辉 ,  苗阳

IPC: G06F18/25 ,  G06F18/2431 ,  G06N3/0442 ,  G06N3/084

Abstract: 本发明提供一种基于文本模态引导注意力融合的多模态情感识别方法、系统及存储介质，涉及情感识别技术领域，为解决现有方法无法有效利用模态信息以及缺乏模态之间交互信息的深层表达的问题。包括：步骤1、分别提取文本情感特征、语音情感特征、视觉情感特征，并按照时间序列进行对齐；步骤2、采用多模态特征融合模块进行特征融合，得到文本和语音的融合特征及文本和视觉的融合特征；所述多模态特征融合模块通过引入多头跨模态注意力机制，使模型关注不同模态数据之间的重要情感信息，同时引入多头自注意力机制，使模型同时关注不同方面的信息；步骤3、建立情感识别模型，利用融合特征以及单模态情感特征进行情感预测，得到情感分类。

公开(公告)号：CN117786596B

公开(公告)日：2025-03-04

申请号：CN202311829110.4

申请日：2023-12-28

Applicant: 东北林业大学

Inventor： 罗辉 ,  苗阳

IPC: G06F18/25 ,  G06F18/2431 ,  G06N3/0442 ,  G06N3/084

Abstract: 本发明提供一种基于文本模态引导注意力融合的多模态情感识别方法、系统及存储介质，涉及情感识别技术领域，为解决现有方法无法有效利用模态信息以及缺乏模态之间交互信息的深层表达的问题。包括：步骤1、分别提取文本情感特征、语音情感特征、视觉情感特征，并按照时间序列进行对齐；步骤2、采用多模态特征融合模块进行特征融合，得到文本和语音的融合特征及文本和视觉的融合特征；所述多模态特征融合模块通过引入多头跨模态注意力机制，使模型关注不同模态数据之间的重要情感信息，同时引入多头自注意力机制，使模型同时关注不同方面的信息；步骤3、建立情感识别模型，利用融合特征以及单模态情感特征进行情感预测，得到情感分类。