语义增强的多模态情感分析方法、系统、电子设备及存储介质

    公开(公告)号:CN118153580A

    公开(公告)日:2024-06-07

    申请号:CN202410015531.1

    申请日:2024-01-05

    Abstract: 本申请提供一种语义增强的多模态情感分析方法、系统、电子设备及存储介质,所述方法包括:将原始视频数据输入到特征提取模块,获得各个模态的特征向量;将各个模态的特征向量输入到语义增强模块,分别获得音频特征向量和视觉特征向量对应的文本特征向量,将对应的文本特征向量拼接到原文本特征向量上获得增强后的文本特征向量;将增强后的文本特征向量、音频特征向量和视觉特征向量输入到多模态感知模块,获取模态间高关联性的特征向量;在差异性约束条件下,获取不同模态之间的高差异性特征向量;将高关联性的特征向量和高差异性的特征向量拼接,获得融合特征向量;将融合特征向量输入到情感预测网络,输出情感预测结果。

Patent Agency Ranking