公开(公告)号：CN118193791B

公开(公告)日：2024-07-30

申请号：CN202410614106.4

申请日：2024-05-17

Applicant: 南京信息工程大学

Inventor： 巩轩池 ,  韩洋 ,  仝皓晨 ,  王子恒 ,  刘腾骏 ,  付章杰

IPC: G06F16/783 ,  G06F16/35 ,  G06N3/0442 ,  G06N3/08

Abstract: 本发明公开了一种面向社交网络短视频的多模态情感分析方法及系统，包括获取社交网络短视频的视频模态信息、文本模态信息和音频模态信息；根据所述视频模态信息、文本模态信息、音频模态信息和预先训练的面向社交网络短视频的多模态情感分析模型，获得社交网络短视频的情感分析结果。本发明通过构造损失函数，学习各模态间的共性特征，利用交叉注意力模块得到经过辅助学习的各模态的特征，减小弱模态表达，增大强模态表达，提高了模态间情感极性分析的准确度，解决了现有技术中对社交网络短视频的多模态情感分析单一，忽略模态间情感极性矛盾，不能有效提取共性特征，导致情感分析不准确的问题。

公开(公告)号：CN118193791A

公开(公告)日：2024-06-14

申请号：CN202410614106.4

申请日：2024-05-17

Applicant: 南京信息工程大学

Inventor： 巩轩池 ,  韩洋 ,  仝皓晨 ,  王子恒 ,  刘腾骏 ,  付章杰

IPC: G06F16/783 ,  G06F16/35 ,  G06N3/0442 ,  G06N3/08

Abstract: 本发明公开了一种面向社交网络短视频的多模态情感分析方法及系统，包括获取社交网络短视频的视频模态信息、文本模态信息和音频模态信息；根据所述视频模态信息、文本模态信息、音频模态信息和预先训练的面向社交网络短视频的多模态情感分析模型，获得社交网络短视频的情感分析结果。本发明通过构造损失函数，学习各模态间的共性特征，利用交叉注意力模块得到经过辅助学习的各模态的特征，减小弱模态表达，增大强模态表达，提高了模态间情感极性分析的准确度，解决了现有技术中对社交网络短视频的多模态情感分析单一，忽略模态间情感极性矛盾，不能有效提取共性特征，导致情感分析不准确的问题。