公开(公告)号：CN118135664A

公开(公告)日：2024-06-04

申请号：CN202410435408.5

申请日：2024-04-11

Applicant: 安徽大学

Inventor： 张艳 ,  夏雨琪 ,  刘阳炀 ,  丁凯 ,  石宝

IPC: G06V40/20 ,  G06V40/16 ,  G06V10/40 ,  G06V10/74 ,  G06V10/24 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明公开了一种基于姿态特征对齐的异常情绪推理系统，包括以下步骤：获取待识别的人体姿态图像；将获取到的图像送入Alpha Pose模型提取姿态信息；在获取得的姿态信息中提取精确的人体姿态关键点信息和人体姿态图像；利用MTCNN系统提取面部图像和待匹配人体姿态图像的面部关键点；得到面部图像中与待匹配人体姿态图像面部关键点的欧氏距离最接近的人体姿态图像；拼接得到视觉特征；利用视觉特征、语音特征和文本特征通过自注意力机制进行情绪识别。本发明涉及图像处理领域，该种基于姿态特征对齐的异常情绪推理系统，解决了现有工作忽略了在面部信息模糊或缺失时，人体姿态信息的重要性及辅助作用的问题，提高了对异常情绪的识别效果。