一种基于特征解耦和图注意力网络的多模态情感分析方法

    公开(公告)号:CN119691552A

    公开(公告)日:2025-03-25

    申请号:CN202411756681.4

    申请日:2024-12-03

    Applicant: 中北大学

    Abstract: 针对现有的多模态情感分析在处理多模态数据时忽视不同模态的共有特征和独有特征联系的问题,本发明提出了一种基于特征解耦和图注意力网络的多模态情感分析方法。通本发明网络模型输入文、视觉、语音三种模态的信息,首先,利用预训练之后的不同模型作为特征提取器;然后过对比学习,将每种模态的特征分解为模态独有特征和模态间共有特征,实现特征向量的有效解耦,从而促进融合模型对情感信息的有效学习;接着,利用解耦后的特征构建静态图,并采用图注意力网络学习多模态情感特征;最后,通过线性层对融合特征进行分类,以预测情感标签。

Patent Agency Ranking