-
公开(公告)号：CN114168823A
公开(公告)日：2022-03-11
申请号：CN202111463362.0
申请日：2021-12-02
Applicant: 杭州电子科技大学 , 网易(杭州)网络有限公司
IPC: G06F16/906 , G06N3/04 , G06N3/08
Abstract: 本申请提供了一种情感识别的方法、装置、设备和介质，该方法包括：获取目标对象的多个模态分别对应的模态特征；基于多个所述模态特征分别构造第一张量和第二张量，所述第一张量的维度和所述第二张量的维度基于所述模态的个数确定；将所述第一张量和所述第二张量分别作为基于注意力机制的神经网络的查询值和关键值；根据所述查询值和所述关键值获得每个模态分别对应的核张量及基于所述核张量得到的池化矩阵；针对所述多个模态中的目标模态，将所述目标模态对应的核张量和除所述目标模态外的其他模态分别对应的池化矩阵进行融合，得到所述目标模态对应的注意力表示；基于每个模态的所述注意力表示获得所述目标对象的情感分类结果。
-
公开(公告)号：CN112612936A
公开(公告)日：2021-04-06
申请号：CN202011581373.4
申请日：2020-12-28
Applicant: 杭州电子科技大学
IPC: G06F16/906 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开一种基于对偶转换网络的多模态情感分类方法。本发明结合对偶学习机制以及自注意力机制，在将一个模态转换为另一个模态的过程中，挖掘模态对之间具有方向性的长时交互的跨模态融合信息。同时，对偶学习技术能够增强模型的鲁棒性，因此能很好地应对多模态学习中存在的固有问题——模态数据缺失问题。其次，在此基础上构建的分层融合框架，将所有具有同一个源模态的跨模态融合信息拼接在一块，从而采用一维卷积层进行融合操作，能够进一步挖掘多模态信息之间的高层次互补信息，是对当前情感识别领域的多模态融合框架的有效补充。
-
Patent Agency Ranking
公开(公告)号：CN112541541B
公开(公告)日：2024-03-22
申请号：CN202011452285.4
申请日：2020-12-10
Applicant: 杭州电子科技大学
IPC: G06F18/25 , G06F17/16 , G06F40/253 , G06N3/0442
Abstract: 本发明公开了基于多元素分层深度融合的轻量级多模态情感分析方法；本发明以分层的方式建立多模态元素之间的直接相关性，可以捕获不同模态之间的短时和长时依赖性。为避免降低分辨率并保留与每个模态相对应的原始空间结构信息，在选择和强调多模态信息交互时，本发明以广播的形式应用相应的注意力权重。此外，本发明也提出了一个新的张量算子，称为Ex‑KR加法，以利用共享信息来融合多模态元素信息得到全局张量表征。这是针对当前多模态情感识别领域中大多数方法仅仅关注在局部的时序‑多模态空间中的建模，并且不能明确地学习得到所有参与模态融合的完整的表示形式等问题的有效补充。
-
公开(公告)号：CN112612936B
公开(公告)日：2022-03-08
申请号：CN202011581373.4
申请日：2020-12-28
Applicant: 杭州电子科技大学
IPC: G06F16/906 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开一种基于对偶转换网络的多模态情感分类方法。本发明结合对偶学习机制以及自注意力机制，在将一个模态转换为另一个模态的过程中，挖掘模态对之间具有方向性的长时交互的跨模态融合信息。同时，对偶学习技术能够增强模型的鲁棒性，因此能很好地应对多模态学习中存在的固有问题——模态数据缺失问题。其次，在此基础上构建的分层融合框架，将所有具有同一个源模态的跨模态融合信息拼接在一块，从而采用一维卷积层进行融合操作，能够进一步挖掘多模态信息之间的高层次互补信息，是对当前情感识别领域的多模态融合框架的有效补充。
-
公开(公告)号：CN112541541A
公开(公告)日：2021-03-23
申请号：CN202011452285.4
申请日：2020-12-10
Applicant: 杭州电子科技大学
IPC: G06K9/62 , G06F17/16 , G06F40/253 , G06N3/04 , G06N3/08
Abstract: 本发明公开了基于多元素分层深度融合的轻量级多模态情感分析方法；本发明以分层的方式建立多模态元素之间的直接相关性，可以捕获不同模态之间的短时和长时依赖性。为避免降低分辨率并保留与每个模态相对应的原始空间结构信息，在选择和强调多模态信息交互时，本发明以广播的形式应用相应的注意力权重。此外，本发明也提出了一个新的张量算子，称为Ex‑KR加法，以利用共享信息来融合多模态元素信息得到全局张量表征。这是针对当前多模态情感识别领域中大多数方法仅仅关注在局部的时序‑多模态空间中的建模，并且不能明确地学习得到所有参与模态融合的完整的表示形式等问题的有效补充。
-
-
-
-
-
Search Results
7
records
(took 0.025 seconds)
