公开(公告)号：CN118734248A

公开(公告)日：2024-10-01

申请号：CN202410859676.X

申请日：2024-06-28

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  周斐炜 ,  唐佳佳 ,  宋紫诺 ,  杨紫薇 ,  龙海涛 ,  王宝德 ,  马迪

IPC: G06F18/25 ,  G06F18/241 ,  G06V10/80 ,  G06V20/70 ,  G06V10/82 ,  G06V10/764 ,  G06V10/74 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开一种跨样本模态动态轮转的情感识别方法及其系统。首先获取多模态数据及情感分类注释，再进行对应的模态编码器预处理，得到对应初步模态特征信息。然后，使用门控残差自注意力机制捕获更深层次的模态注意力特征，并从模态情感语义信息丰富程度考量，将单模态独立情感注释与其结合共同计算出集成后的模态分数序列，进而该轮转周期下确定的模态轮转顺序。最后，使用基于跨模态门控残差注意力机制的多模态融合手段，依照该轮转顺序进行融合。本发明提出了使模态自身依据独立情感注释动态调整融合顺序的思想，着重考虑了模态之间的情感语义信息不平衡问题，探究模态主次问题对多模态情感检测领域的影响，突破了传统的主次模式。