公开(公告)号：CN119128676A

公开(公告)日：2024-12-13

申请号：CN202411123120.0

申请日：2024-08-15

Applicant: 北京科技大学

Inventor： 刘欣 ,  阿孜古丽·吾拉木 ,  吴宇珩 ,  张德政 ,  任继平 ,  栗辉

IPC: G06F18/2415 ,  G06F18/2431 ,  G06F18/213 ,  G06F18/25 ,  G06V40/16 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/047 ,  G06N3/048 ,  G06N3/0442 ,  G06N3/049 ,  G06N3/084 ,  G06N3/082 ,  G10L25/63 ,  G10L25/30

Abstract: 本发明提供一种多模态情感识别方法及装置，涉及人工智能技术领域，该方法包括：通过交叉注意力机制将第一文本模态特征与第一图像模态特征进行融合，生成融合注意力的图像特征，通过交叉注意力机制将第一文本模态特征与第一语音模态特征进行融合，生成融合注意力的语音特征；将融合注意力的语音特征、融合注意力的图像特征、第一文本模态特征送入多层Transformer编码器中进行学习，生成第二语音模态特征、第二图像模态特征、第二文本模态特征，并基于所述第二语音模态特征、所述第二图像模态特征和所述第二文本模态特征进行情感识别，实现了较精准的多模态情感识别。