公开(公告)号：CN116343318A

公开(公告)日：2023-06-27

申请号：CN202310218196.0

申请日：2023-03-08

Applicant: 桂林理工大学

Inventor： 李泽 ,  王玫 ,  陶小梅 ,  鲍金笛

IPC: G06V40/18 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种在线学习场景下基于眼动信号的情感识别方法，包括4个步骤：S1数据采集模块：设计了一个模拟在线学习场景的数据采集实验来获取眼动信号的相关数据；S2眼动信号预处理模块：对采集到的眼动信号进行预处理；S3眼动特征提取与融合模块：将预处理后的眼动信号进行手工特征提取得到浅层特征，随后将浅层特征输入CNN中提取信号的深层特征，最后将深层特征与浅层特征进行特征层融合并降维得到眼动信号的融合特征；S4情感识别模块：将融合特征应用于决策树算法中对高兴、无聊、困惑和感兴趣四种情感进行识别，然后通过相关指标对识别效果进行判定。本发明能够提高在线学习场景下情感识别的精度，为未来本领域的研究提供了更多参考价值。

公开(公告)号：CN113850164A

公开(公告)日：2021-12-28

申请号：CN202111065448.8

申请日：2021-09-13

Applicant: 桂林理工大学

Inventor： 陶小梅 ,  鲍金笛 ,  周颖慧 ,  李泽

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种面向在线视频学习的基于眼动和视频特征的情感识别方法。包括以下步骤：S1、自建眼动和视频特征的数据库，以学习视频作为刺激材料，获取数据；并对数据对齐、标注、预处理、数据集设置、数据类型转换、数据集划分等操作。S2、设计一个基于卷积神经网路的特征提取模块FE‑CNN，提取原始特征的深层特征。S3、设计一个基于卷积神经网路的情感分类模块EC‑CNN。S4、采用特征层融合、决策层融合和模型层融合对眼动信号、音频信号和视频图像进行融合，找出最佳融合策略。S5、对训练过程可视化并通过评价指标对所提出的网络结构评价，以检测所提出的网络的优劣。

公开(公告)号：CN113537294A

公开(公告)日：2021-10-22

申请号：CN202110688749.X

申请日：2021-06-22

Applicant: 桂林理工大学

Inventor： 陶小梅 ,  刘胜西 ,  鲍金笛 ,  李泽 ,  黄振才

IPC: G06K9/62 ,  G06K9/36 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于深度学习的眼动信号情感识别方法。包括一下步骤：S1、自建眼动数据库，以学习视频作为刺激材料，获取眼动数据。并对数据标注、预处理、数据集设置、数据类型转换、数据扩增和数据集划分等操作。S2、设计一个基于卷积神经网路的子卷积块；S3、将网络设计成一个具有五个大层的网络结构；S4、对训练过程可视化并通过评价指标对所提出的网络结构评价，以检测所提出的网络的优劣。最后使用无监督学习和标记数据，使用于训练的数据更加准确。

公开(公告)号：CN113065595A

公开(公告)日：2021-07-02

申请号：CN202110357407.X

申请日：2021-04-01

Applicant: 桂林理工大学

Inventor： 陶小梅 ,  刘胜西 ,  鲍金笛 ,  李泽

IPC: G06K9/62 ,  G06K9/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种用于在线视频学习的基于眼动信号的情感识别方法。包括一下步骤：S1、自建眼动数据库，以学习视频作为刺激材料，获取眼动数据。并对数据标注、预处理、数据集设置、数据类型转换、数据扩增和数据集划分等操作。S2、设计一个基于卷积神经网路的子卷积块；S3、将网络设计成一个具有五个大层的网络结构；S4、对训练过程可视化并通过评价指标对所提出的网络结构评价，以检测所提出的网络的优劣。最后使用无监督学习和标记数据，使用于训练的数据更加准确。

公开(公告)号：CN116327163A

公开(公告)日：2023-06-27

申请号：CN202310218204.1

申请日：2023-03-08

Applicant: 桂林理工大学

Inventor： 李泽 ,  王玫 ,  陶小梅 ,  鲍金笛

IPC: A61B5/0533 ,  A61B5/16 ,  A61B5/00 ,  G06F18/243 ,  G06F18/25

Abstract: 本发明公开了一种在线学习场景下基于皮肤电信号的情感识别方法，包括4个步骤：S1数据采集模块：设计了一个模拟在线学习场景的数据采集实验来获取皮肤电信号的相关数据；S2皮肤电信号预处理模块：对采集到的皮肤电信号进行预处理；S3皮肤电特征提取与融合模块：将预处理后的皮肤电信号进行手工特征提取得到浅层特征，随后将浅层特征输入GRU中提取信号的深层特征，最后将深层特征与浅层特征进行特征层融合并降维得到皮肤电信号的融合特征；S4情感识别模块：将融合特征应用于随机森林算法中对高兴、无聊、困惑和感兴趣四种情感进行识别并通过相关指标对识别效果进行判定。本发明能提高在线学习场景下情感识别的精度，为未来研究提供更多参考价值。