公开(公告)号：CN118133172A

公开(公告)日：2024-06-04

申请号：CN202410078179.6

申请日：2024-01-19

Applicant: 湖南大学

Inventor： 李肯立 ,  唐泽民 ,  曹嵘晖 ,  周旭 ,  肖国庆 ,  刘楚波 ,  段明星 ,  唐卓 ,  阳王东

IPC: G06F18/2431 ,  G06F18/25 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/084 ,  G06F40/30 ,  G06V20/40 ,  G06V40/16 ,  G10L25/63

Abstract: 本发明公开了一种基于多视角交互表征的多模态情感分类方法，其特征在于，包括：获取待分析的多模态数据，包括多个文本、多个音频和多个视频，对待分析的多模态数据进行预处理，以得到预处理后的多模态数据，对预处理的多模态数据进行数据格式规范化处理，以得到每个文本的id列表和掩码模板，以及每个音频的规范化数据和每个视频的规范化数据，将文本的id列表和掩码模板、以及音频和视频的规范化数据输入预先训练好的基于多视角交互表征的多模态情感分类模型中，以得到多模态数据对应的情感标签。本发明能够解决现有基于深度学习的多模态情感分类方法由于忽略了模态在不同交互状态下的多视角情感线索，而导致重要的情感信息无法被捕捉的技术问题；以及由于对跨模态间的情感信息交互不够充分，导致多模态情感分类任务精度不高的技术问题。