公开(公告)号：CN111950592B

公开(公告)日：2022-09-23

申请号：CN202010660340.2

申请日：2020-07-10

Applicant: 南京邮电大学

Inventor： 闫静杰 ,  朱康 ,  宋宇康 ,  吕方惠 ,  顾晓娜 ,  卢官明

IPC: G06V40/16 ,  G06V10/80 ,  G06V10/774

Abstract: 本发明公开了一种基于监督最小二乘多类核典型相关分析的多模态情感特征融合方法。其步骤：提取各模态特征所需要的样本；提取表情模态、语音模态及姿态模态的特征，构成特征矩阵；对提取的各模态特征进行去均值、归一化处理；使用监督最小二乘多类核典型相关分析方法进行多模态特征的融合；进行模型训练得到预测评估结果。本发明针对多类别情感分析问题，将波兰多模态数据库中所有人的各类情感整理分成7类情绪，分别为恐惧、惊讶、愤怒、悲伤、高兴、厌恶及平静，提出基于监督最小二乘多类核典型相关分析的方法来融合多种模态的特征数据，使用此方法计算各模态特征之间的相关性，计算特征之间的关联，能够使计算机更准确的分别人类的各种情绪。

公开(公告)号：CN109919061A

公开(公告)日：2019-06-21

申请号：CN201910145001.8

申请日：2019-02-27

Applicant: 南京邮电大学

Inventor： 宋宇康 ,  闫静杰 ,  朱康 ,  吕方惠 ,  徐志鹏 ,  卢官明

IPC: G06K9/00 ,  G06K9/62 ,  G10L25/63

Abstract: 本发明公开了一种基于稀疏典型相关分析的姿态和语音双模态情感识别方法，所述方法包括：1)在情感数据库中选取一定数量的样本；2)提取样本数据中的姿态特征和语音特征；3)对特征矩阵进行归一化处理；4)使用稀疏典型相关分析法，将特征矩阵进行融合，计算融合后的特征矩阵；5)将融合后的特征矩阵f放入支持向量机中进行情感识别。本发明加入稀疏典型处理后，不仅解决了双模态融合难的问题，还起到了特征降维的目的，解决了现有双模态特征层融合情感识别不佳的问题，提高了识别率。