公开(公告)号：CN115393933A

公开(公告)日：2022-11-25

申请号：CN202211012667.4

申请日：2022-08-23

Applicant: 重庆邮电大学

Inventor： 杨春德 ,  苏晓东 ,  舒坤贤

IPC: G06V40/16 ,  G06V40/12 ,  G06V20/40 ,  G06V10/82 ,  G06V10/764 ,  G06N3/04 ,  G06N3/08 ,  G10L25/18 ,  G10L25/63

Abstract: 本发明属于人工智能、多模态人脸情绪识别技术领域，具体涉及一种基于帧注意力机制的视频人脸情绪识别方法，包括：将含有人脸的视频转换人脸与声音两种模态的特征表示，将人脸模态特征和声音模态特征进行特征联合表示，得到联合多模态特征，通过全连接计算，得到情绪分类的预测结果值，通过函数归一化情绪分类的预测结果值，并将预测概率分布值最大的视频人脸情绪作为最终的视频人脸情绪识别结果。本发明通过改进的帧注意力网络模型能有效的提取人脸模态特征和声音模态特征的时序信息和空间信息，从而能提升情绪识别的精度。