公开(公告)号：CN119397481A

公开(公告)日：2025-02-07

申请号：CN202411577047.4

申请日：2024-11-06

Applicant: 广东工业大学

Inventor： 林忆宝 ,  冯广 ,  黄俊辉 ,  钟婷 ,  刘天翔 ,  郑润庭 ,  杨燕茹 ,  黄荣灿 ,  廖贝融

IPC: G06F18/25 ,  G06F18/15 ,  G06F18/24 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0895 ,  G06N3/0442

Abstract: 本发明公开了一种多模态情绪分析方法和装置，涉及情感分析技术领域。方法包括：对多模态情绪数据各模态情绪进行预处理并进行维度对齐，确定目标文本特征、对齐视频特征和对齐音频特征；采用单模态编码器分别对对齐视频特征和对齐音频特征进行编码，对应得到目标视频特征和目标音频特征；通过跨模态融合网络和跨膜态转换网络基于目标文本特征、目标音频特征和目标视频特征进行跨膜态注意力机制运算后输入Transformer网络进行自注意力运算后进行特征融合，确定情绪融合特征；采用情感分类层对情绪融合特征进行情感分类，输出情绪分析结果。基于上述方案，减少了模态交互时的信息丢失，提升了多模态情绪分析的可靠性。