公开(公告)号：CN113537292A

公开(公告)日：2021-10-22

申请号：CN202110678075.5

申请日：2021-06-18

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  金宣妤 ,  唐佳佳 ,  张建海 ,  朱莉

IPC: G06K9/62 ,  G06K9/46

Abstract: 本发明公开一种基于张量化高阶互注意力机制的多源域适应方法。通过共享子网络构建初级特征提取器以提取多源域数据的浅层共有特征。其次，分别构造不同源域的深层特征提取器，目标域数据分别通过这些深层特征提取器以提取与不同源域相关的特征。在深层特征的基础上，通过高阶互注意力机制挖掘多源域空间深层特征之间的高阶相关性，并应用于目标域，从而与度量目标域与源域特征分布差异的损失函数一起指导目标域与源域的域不变特征提取。最后，分别训练每个源域的特征分类器，将目标域数据特征分别输入这些分类器，得到所有预测结果的平均作为最终目标域数据的预测结果。本发明有效挖掘多源域特征间的相关性，适用于多源域适应。

公开(公告)号：CN112612936A

公开(公告)日：2021-04-06

申请号：CN202011581373.4

申请日：2020-12-28

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  唐佳佳 ,  李康 ,  金宣妤 ,  张建海

IPC: G06F16/906 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种基于对偶转换网络的多模态情感分类方法。本发明结合对偶学习机制以及自注意力机制，在将一个模态转换为另一个模态的过程中，挖掘模态对之间具有方向性的长时交互的跨模态融合信息。同时，对偶学习技术能够增强模型的鲁棒性，因此能很好地应对多模态学习中存在的固有问题——模态数据缺失问题。其次，在此基础上构建的分层融合框架，将所有具有同一个源模态的跨模态融合信息拼接在一块，从而采用一维卷积层进行融合操作，能够进一步挖掘多模态信息之间的高层次互补信息，是对当前情感识别领域的多模态融合框架的有效补充。