公开(公告)号：CN113850164A

公开(公告)日：2021-12-28

申请号：CN202111065448.8

申请日：2021-09-13

Applicant: 桂林理工大学

Inventor： 陶小梅 ,  鲍金笛 ,  周颖慧 ,  李泽

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种面向在线视频学习的基于眼动和视频特征的情感识别方法。包括以下步骤：S1、自建眼动和视频特征的数据库，以学习视频作为刺激材料，获取数据；并对数据对齐、标注、预处理、数据集设置、数据类型转换、数据集划分等操作。S2、设计一个基于卷积神经网路的特征提取模块FE‑CNN，提取原始特征的深层特征。S3、设计一个基于卷积神经网路的情感分类模块EC‑CNN。S4、采用特征层融合、决策层融合和模型层融合对眼动信号、音频信号和视频图像进行融合，找出最佳融合策略。S5、对训练过程可视化并通过评价指标对所提出的网络结构评价，以检测所提出的网络的优劣。

公开(公告)号：CN113729707A

公开(公告)日：2021-12-03

申请号：CN202111037434.5

申请日：2021-09-06

Applicant: 桂林理工大学

Inventor： 陶小梅 ,  陈心怡 ,  周颖慧 ,  鲍金笛

IPC: A61B5/16 ,  A61B3/113 ,  A61B5/024 ,  A61B5/00 ,  A61B3/11 ,  A61B5/11

Abstract: 本发明公开了一种基于FECNN‑LSTM的眼动和PPG多模态融合的情感识别方法。包括：通过观看学习视频刺激材料，利用眼动跟踪技术和光电容积脉搏波描记的容积测量方法，获得学习者的瞳孔直径、眨眼、注视和眼跳等眼动信息以及心率值，心率变异性，峰值间期信号。研究在线学习过程中学习者情感状态与眼动生理信号的关系。计算并使用主成分分析法选取与学习者情感状态最相关的眼动特征、心率特征、心率变异性特征和峰值间期特征。再进行特征层融合生成浅层特征，归一化处理后，再用FECNN网络提取深层特征，再将得到的深层特征和浅层特征进行特征层融合后采用长短时记忆网络LSTM和随机森林RF,K近邻KNN,多层感知机MLP和支持向量机SVM进行感兴趣，困惑，无聊，高兴四种情感分类。