公开(公告)号：CN113312530B

公开(公告)日：2022-02-15

申请号：CN202110652703.2

申请日：2021-06-09

Applicant: 哈尔滨工业大学

Inventor： 秦兵 ,  吴洋 ,  赵妍妍 ,  胡晓毓

IPC: G06F16/906 ,  G06K9/62 ,  G06F16/35 ,  G06F16/55 ,  G06F16/75

Abstract: 一种以文本为核心的多模态情感分类方法，涉及自然语言处理技术领域，针对现有技术中将每个模态的语义信息看作一个整体，缺乏探索不同模态交互的能力，进而导致情感分类不准确的问题，包含两部分，一部分是跨模态预测模型，该模型以文本模态特征为输入，输出为语音/图像模态特征。利用该模型我们设计了共享特征与私有特征的判定规则，进而利用规则分辨出共享和私有特征。另一部分是情感预测模型，该模型利用跨模态注意力机制将文本模态特征与语音/图像的共享和私有特征进行融合，最后得到多模态融合特征进行情感分类。

公开(公告)号：CN113312530A

公开(公告)日：2021-08-27

申请号：CN202110652703.2

申请日：2021-06-09

Applicant: 哈尔滨工业大学

Inventor： 秦兵 ,  吴洋 ,  赵妍妍 ,  胡晓毓

IPC: G06F16/906 ,  G06K9/62 ,  G06F16/35 ,  G06F16/55 ,  G06F16/75

Abstract: 一种以文本为核心的多模态情感分类方法，涉及自然语言处理技术领域，针对现有技术中将每个模态的语义信息看作一个整体，缺乏探索不同模态交互的能力，进而导致情感分类不准确的问题，包含两部分，一部分是跨模态预测模型，该模型以文本模态特征为输入，输出为语音/图像模态特征。利用该模型我们设计了共享特征与私有特征的判定规则，进而利用规则分辨出共享和私有特征。另一部分是情感预测模型，该模型利用跨模态注意力机制将文本模态特征与语音/图像的共享和私有特征进行融合，最后得到多模态融合特征进行情感分类。