-
公开(公告)号:CN112800903B
公开(公告)日:2022-08-26
申请号:CN202110067161.2
申请日:2021-01-19
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于时空图卷积神经网络的动态表情识别方法及系统。该方法首先对动态表情序列中每帧图像进行人脸关键点检测,得到关键点的归一化坐标和编号;提取关键点的局部纹理特征向量,并与其归一化坐标进行拼接,组合成关键点的局部融合特征向量;然后连接同帧间的关键点形成空域边,连接相邻帧相同编号的关键点形成时域边,利用这些边和关键点构成一种时空拓扑图;接着,构建一种时空图卷积神经网络,用生成的时空拓扑图对其进行训练;最后将基于新的表情序列生成的时空拓扑图作为输入,利用训练好的网络模型进行表情识别。该方法利用了人脸关键点的位置信息,可以克服光照、肤色、姿态变化的影响,提升表情识别的准确率和鲁棒性。
-
公开(公告)号:CN112800903A
公开(公告)日:2021-05-14
申请号:CN202110067161.2
申请日:2021-01-19
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于时空图卷积神经网络的动态表情识别方法及系统。该方法首先对动态表情序列中每帧图像进行人脸关键点检测,得到关键点的归一化坐标和编号;提取关键点的局部纹理特征向量,并与其归一化坐标进行拼接,组合成关键点的局部融合特征向量;然后连接同帧间的关键点形成空域边,连接相邻帧相同编号的关键点形成时域边,利用这些边和关键点构成一种时空拓扑图;接着,构建一种时空图卷积神经网络,用生成的时空拓扑图对其进行训练;最后将基于新的表情序列生成的时空拓扑图作为输入,利用训练好的网络模型进行表情识别。该方法利用了人脸关键点的位置信息,可以克服光照、肤色、姿态变化的影响,提升表情识别的准确率和鲁棒性。
-