公开(公告)号：CN113822340A

公开(公告)日：2021-12-21

申请号：CN202110992751.6

申请日：2021-08-27

Applicant: 北京工业大学

Inventor： 刘博 ,  徐毓笑

IPC: G06K9/62 ,  G06N3/08 ,  G06F16/33

Abstract: 本发明公开了一种基于注意力机制的图文情感识别方法，通过引入近年来火热的注意力机制更好的挖掘模态内部信息以及学习模态之间的交互作用，针对各模态对于情感分类贡献度不同的问题设计决策级融合规则将各个模态的分类结果进行整合，得到最终的情感识别结果。采用决策级的融合方式，设计融合规则将各个分类器的分类概率进行整合，提高最终的情感识别准确率。上述提出的针对图文评论情感识别的方法，在多模态特征提取和特征融合等方面都进行了有益的补充和优化，有效的挖掘了模态内部信息和构建了模态间的交互作用，提升了图文情感识别的准确率。

公开(公告)号：CN113065577A

公开(公告)日：2021-07-02

申请号：CN202110258627.7

申请日：2021-03-09

Applicant: 北京工业大学

Inventor： 刘博 ,  徐毓笑

IPC: G06K9/62 ,  G06F16/35 ,  G06F40/289 ,  G06F40/30 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种面向目标的多模态情感分类方法，通过迁移学习，使用最新预训练模型对文本和图片进行初步特征提取，利用注意力机制分别实现突出图片关键区域和文本关键词的进一步特征提取，将单个模态特征进行早期融合后，输入到自注意力网络中学习各模态之间的交互作用，确定各模态的贡献程度，融合后的特征向量输入到分类器中得到情感分类的结果。本模型很好的融合了各个单模态特征，有效的挖掘了互联网社交媒体评论中所表达的情感信息，从而提高了多模态情感识别的准确率。