公开(公告)号：CN112800998A

公开(公告)日：2021-05-14

申请号：CN202110159085.8

申请日：2021-02-05

Applicant: 南京邮电大学

Inventor： 卢官明 ,  朱清扬 ,  卢峻禾

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06F17/16

Abstract: 本发明公开了一种融合注意力机制和鉴别多重集典型相关分析(DMCCA)的多模态情感识别方法及系统。该方法包括：对经过预处理后的脑电信号、外周生理信号和面部表情视频分别提取脑电信号特征、外周生理信号特征和表情特征；使用注意力机制分别提取有鉴别力的脑电情感特征、外周生理情感特征、表情情感特征；对脑电情感特征、外周生理情感特征和表情情感特征使用DMCCA方法，得到脑电‑外周生理‑表情多模态情感特征；使用分类器对多模态情感特征进行分类识别。本发明采用注意力机制选择性地重点关注各模态中更具情感鉴别力的特征，并结合DMCCA充分利用不同模态情感特征之间的相关性和互补性，可以有效提高情感识别的准确率和鲁棒性。

公开(公告)号：CN112800998B

公开(公告)日：2022-07-29

申请号：CN202110159085.8

申请日：2021-02-05

Applicant: 南京邮电大学

Inventor： 卢官明 ,  朱清扬 ,  卢峻禾

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06F17/16

Abstract: 本发明公开了一种融合注意力机制和鉴别多重集典型相关分析(DMCCA)的多模态情感识别方法及系统。该方法包括：对经过预处理后的脑电信号、外周生理信号和面部表情视频分别提取脑电信号特征、外周生理信号特征和表情特征；使用注意力机制分别提取有鉴别力的脑电情感特征、外周生理情感特征、表情情感特征；对脑电情感特征、外周生理情感特征和表情情感特征使用DMCCA方法，得到脑电‑外周生理‑表情多模态情感特征；使用分类器对多模态情感特征进行分类识别。本发明采用注意力机制选择性地重点关注各模态中更具情感鉴别力的特征，并结合DMCCA充分利用不同模态情感特征之间的相关性和互补性，可以有效提高情感识别的准确率和鲁棒性。