公开(公告)号：CN110969106A

公开(公告)日：2020-04-07

申请号：CN201911163791.9

申请日：2019-11-25

Applicant: 东南大学

Inventor： 夏思宇 ,  朱婷 ,  杨凡 ,  吴瀚文

IPC: G06K9/00 ,  A61B5/16 ,  G10L15/06 ,  G10L15/26 ,  G10L25/63

Abstract: 本发明公开了一种基于表情、语音和眼动特征的多模态测谎方法，包括：获取表情、眼动特征、语音的数据并进行音视频分离、去噪等预处理，处理后分别送入表情情感识别模块、语音情感识别模块和眼动特征识别模块进行分析得到从表情、声音、眼部特征分别得到的情感特征，通过将三个模态的情感结合作为情感特征送入训练好的分类模型进行测谎，最终得到综合测谎结果。本发明通过多模态的情感分类能更加准确的实现测谎。

公开(公告)号：CN110969106B

公开(公告)日：2023-04-18

申请号：CN201911163791.9

申请日：2019-11-25

Applicant: 东南大学

Inventor： 夏思宇 ,  朱婷 ,  杨凡 ,  吴瀚文

IPC: G06V40/16 ,  G06V40/18 ,  G06V20/40 ,  A61B5/16 ,  G10L15/06 ,  G10L15/26 ,  G10L25/63

Abstract: 本发明公开了一种基于表情、语音和眼动特征的多模态测谎方法，包括：获取表情、眼动特征、语音的数据并进行音视频分离、去噪等预处理，处理后分别送入表情情感识别模块、语音情感识别模块和眼动特征识别模块进行分析得到从表情、声音、眼部特征分别得到的情感特征，通过将三个模态的情感结合作为情感特征送入训练好的分类模型进行测谎，最终得到综合测谎结果。本发明通过多模态的情感分类能更加准确的实现测谎。