公开(公告)号：CN115659242A

公开(公告)日：2023-01-31

申请号：CN202211377291.7

申请日：2022-11-04

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  倪斌斌 ,  唐佳佳 ,  杨宇涛 ,  戴玮成 ,  朱莉

IPC: G06F18/241 ,  G06F18/25 ,  G06F18/15 ,  G06F40/30 ,  G06V20/40 ,  G06V10/82 ,  G10L25/30 ,  G10L25/63 ,  G06N3/0455 ,  G06N3/0442 ,  G06N3/0464

Abstract: 本发明公开一种基于模态增强卷积图的多模态情感分类方法。本发明提出了一个新的模态增强融合框架，它基于图卷积神经网络，为融合未对齐的多模态序列提供了一个有效的方法。在文本模态的帮助下，首先使用多模态增强模块来增强视觉和听觉模态以获得具有更强情感鉴别性的模态信息，从而帮助后续的聚合过程。此外，还构建了文本驱动的多模态特征图来进行模态融合，这可以有效地处理图卷积聚合过程中各模态之间的不平衡问题。最后将模态增强卷积图中提取的融合信息整合到文本表征中，从而动态地将原始文本表征向最准确的多模态语义空间转化。相比于现有多模态融合方法，本发明的结果更优。

公开(公告)号：CN115310560A

公开(公告)日：2022-11-08

申请号：CN202211139018.0

申请日：2022-09-19

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  杨宇涛 ,  唐佳佳 ,  倪斌斌 ,  戴玮成 ,  朱莉

IPC: G06K9/62 ,  G06N20/00

Abstract: 本发明公开一种基于模态空间同化和对比学习的多模态情感分类方法。本发明引入了同化的概念，利用由模态之间的互补信息组成的引导向量来指引每个模态同时接近解空间。该操作不仅进一步提高搜索解空间的效率，而且使得三种模态的异构空间同构。在空间同构的过程中，能够在一定程度上有效平衡多个模态对最终解空间的贡献。在指导每个模态的时候，该策略能使模型更加关注情感特征，这减少了模态内冗余，构建多模态表示的难度也因此降低了。其次，本发明还运用了监督对比学习来增强模型辨别不同情绪差异的能力，使得模型能够捕捉到更为全面的多模态情感上下文。