基于异构多视图特征融合的面部微表情识别方法和系统

    公开(公告)号:CN117671756A

    公开(公告)日:2024-03-08

    申请号:CN202311372596.3

    申请日:2023-10-20

    Abstract: 本发明提出了一种基于异构多视图特征融合的面部微表情识别方法和系统。该方法包括以下步骤:对输入的微表情序列进行预处理,对起始帧和峰值帧进行三维人脸重建,得到点云数据以及法线贴图数据,对起始帧和峰值帧进行二维运动估计得到光流数据;构建端到端可训练的异构多视图特征融合网络模型;利用前述步骤得到的峰值帧点云数据、法线贴图数据以及光流数据作为输入,用异构的网络提取异构特征,最终采用互注意力机制将异构特征融合以得到该图像的微表情类别。本发明的方法通过异构多视图特征融合网络模型HMF对二维运动数据、三维几何数据以及三维运动数据进行特征提取及融合分类,提高了面部微表情识别的识别率和鲁棒性。

Patent Agency Ranking