公开(公告)号：CN111401116B

公开(公告)日：2022-08-26

申请号：CN201910743860.7

申请日：2019-08-13

Applicant: 南京邮电大学

Inventor： 闫静杰 ,  朱康 ,  朱宇康 ,  吕方惠 ,  卢官明 ,  李海波

IPC: G06V40/16 ,  G06V10/764 ,  G06V10/82 ,  G06N3/04

Abstract: 本发明公开了一种基于增强卷积和空时LSTM网络的双模态情感识别方法，使用预训练VGG16和LSTM网络，构建出本发明的基于立方体Attention的增强卷积和空时LSTM网络结构，包括以下步骤：(1)截取数据库中视频的主要部分，满足相同长度并对其分帧；(2)检测数据库中每个视频人脸、动作的空时特征点，根据每帧图片设置对应特征点处的权重值，形成立方体Attention部分权重图；(3)构建基于立方体Attention增强卷积和空时LSTM的结合网络；(4)通过上述步骤处理的表情、动作视频分别提取特征，将获得的表情和姿态特征串联融合并输入SVM分类器、softmax层，输出得到分类结果。提取到含有表情和姿态信息特征进行双模态分类，获得比传统特征学习方法更好的情感识别效果。

公开(公告)号：CN111401116A

公开(公告)日：2020-07-10

申请号：CN201910743860.7

申请日：2019-08-13

Applicant: 南京邮电大学

Inventor： 闫静杰 ,  朱康 ,  朱宇康 ,  吕方惠 ,  卢官明 ,  李海波

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04

Abstract: 本发明公开了一种基于增强卷积和空时LSTM网络的双模态情感识别方法，使用预训练VGG16和LSTM网络，构建出本发明的基于立方体Attention的增强卷积和空时LSTM网络结构，包括以下步骤：(1)截取数据库中视频的主要部分，满足相同长度并对其分帧；(2)检测数据库中每个视频人脸、动作的空时特征点，根据每帧图片设置对应特征点处的权重值，形成立方体Attention部分权重图；(3)构建基于立方体Attention增强卷积和空时LSTM的结合网络；(4)通过上述步骤处理的表情、动作视频分别提取特征，将获得的表情和姿态特征串联融合并输入SVM分类器、softmax层，输出得到分类结果。提取到含有表情和姿态信息特征进行双模态分类，获得比传统特征学习方法更好的情感识别效果。