公开(公告)号：CN118021303A

公开(公告)日：2024-05-14

申请号：CN202410149732.0

申请日：2024-02-02

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  殷燕燕 ,  唐佳佳

IPC: A61B5/16 ,  A61B5/369 ,  A61B5/398 ,  A61B5/00 ,  G06F18/00 ,  G06F18/10 ,  G06F18/2415 ,  G06F18/25 ,  G06F18/213 ,  G06N3/0464 ,  G06N3/048

Abstract: 本发明提出一种基于伪孪生网络的多模态情感分析方法及其系统。该方法利用整合深度可分离卷积策略的金字塔网络作为脑电的处理模块，挖掘并融合多个尺度的脑电的时间和空间情感感知特征，提炼更深度更有效的脑电内在本征特征；同时，利用两个全连接网络层作为眼电处理模块提取眼电的行为特征。此外，为了进一步学习模态间的关系，本发明使用含有双分支子网的伪孪生网络变换每个模态的情感特征，并在该模块中使用相似性约束将不同模态的特征协调到相似的超空间中。然后采用特征融合，学习不同模态对情感识别的权重参与到模型分类决策，实现多模态情感特征的一致性和互补性，从而提高模型的性能和泛化能力。

公开(公告)号：CN118349905A

公开(公告)日：2024-07-16

申请号：CN202410376747.0

申请日：2024-03-29

Applicant: 杭州电子科技大学

Inventor： 孔万增 ,  李景豪 ,  唐佳佳 ,  殷燕燕

IPC: G06F18/2415 ,  G06F18/25 ,  G06F18/214 ,  G06F18/21 ,  G06N3/0464 ,  A61B5/16

Abstract: 本发明公开一种基于EEG和EOG的多模态情绪识别方法。该方法利用了注意力机制、典型相关性分析等技术，使得模型能够更好地理解和利用不同模态的信息，从而更有效地进行情感分析。首先，我们使用卷积神经网络分别从时域和空域提取EEG和EOG的时空特征。接着，我们采用典型相关分析来计算两种模态特征之间的相似度，并通过反向传播来调整参数，从而提高这两者之间的相关性。同时，我们还采用一种基于注意力的融合方法，动态地整合两种模态的特征，最终用于情绪分类。结果证明，本发明提出的方法可以将不同模态的特征有效的结合起来，提高情感识别等任务的性能和准确性。