-
公开(公告)号:CN114091599A
公开(公告)日:2022-02-25
申请号:CN202111356761.7
申请日:2021-11-16
Applicant: 上海交通大学
Abstract: 一种模态间密集交互深度神经网络情绪识别方法,对各个模态的数据的预处理后,通过密集交互神经网络对各个模态数据进行密集交互处理得到特征矩阵;再通过识别情绪神经网络对每一个模态的数据矩阵进行拼接,即对最后一个交互层的输出数据进行拼接,最后分类并得到情绪类别,即分类结果。本发明使用脑电信号、眼动追踪信号和眼部图像信号作为输入,通过独创的密集交互神经网络设计,能够根据实际应用中的情况,不需改变模型结构,不依赖于某些模态或模态数量并能够在实际使用的过程中,根据实际情况调整具体模态种类和数量。