公开(公告)号：CN117409348A

公开(公告)日：2024-01-16

申请号：CN202311338312.9

申请日：2023-10-17

Applicant: 福州大学

Inventor： 程红举 ,  占周文 ,  杨子珍 ,  林昌锴

IPC: G06V20/40 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/0895 ,  G10L25/63 ,  G10L25/57 ,  G10L25/30

Abstract: 本发明涉及一种基于对比学习和多头自注意机制的半监督多模态情感分析方法，从包含用户情感的视频数据中获取视觉、音频和文本模态数据，输入多模态情感分析模型获得视频数据的情感分析结果；构建并训练多模态情感分析模型包括：分别采用双向长短期记忆网络、BERT模型提取视觉、音频、文本模态特征；获取无监督的重建损失和对比学习损失；联合视觉、音频和文本模态特征得到特征矩阵，并进行多头自注意力操作，再拼接得到多模态融合特征；将多模态融合特征输入多模态情感分类器，获得情感分析结果；计算有监督的任务损失；基于得到的三项损失，通过半监督学习的方式对多模态情感分析模型进行训练。该方法有利于对视频所包含的人类情感进行自动分析。