公开(公告)号：CN109886190A

公开(公告)日：2019-06-14

申请号：CN201910126798.7

申请日：2019-02-20

Applicant: 哈尔滨工程大学

Inventor： 王科俊 ,  陈静 ,  张欣怡 ,  孙丽莹

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/06

Abstract: 本发明属于图像识别技术领域，具体涉及一种基于深度学习的人脸表情和姿态双模态融合表情识别方法。包括以下步骤：建立自然环境下的图像数据库，并对获取的图像进行预处理和增强处理；提出SE-GoogleNet网络对处理后的数据图像进行特征提取；选用基于动作分类的GoogleNet模型的Caffemodel的卷积部分直接进行知识迁移训练；将两个经过预训练之后的卷积神经网络分别输入SPP层进行特征融合，最后送入LSTM中实现双模态表情识别最终分类。本发明设计了基于面部、肢体的双通道特征融合的LSTM模型，使用金字塔池化，进而解决了特征融合时的尺寸匹配问题；并且结合迁移学习，使该模型能在数据库较少的情况下实现对双模态表情的识别，提高了该模型对各种自然环境的适应能力，应用前景广泛。