公开(公告)号：CN113555038A

公开(公告)日：2021-10-26

申请号：CN202110758039.X

申请日：2021-07-05

Applicant: 东南大学

Inventor： 郑文明 ,  路成 ,  宗源 ,  唐传高 ,  李溯南 ,  连海伦 ,  赵力

IPC: G10L25/63 ,  G10L25/51 ,  G10L25/30 ,  G10L25/24 ,  G10L25/03 ,  G10L17/02 ,  G10L17/18 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于无监督领域对抗学习的说话人无关语音情感识别方法及系统，对情感语音数据进行预处理，获得高质量的情感语音样本，从所述情感语音样本中提取出单通道梅尔频谱作为时频特征，对所述时频特征经过深度卷积神经网络，得到语音情感的局部特征和全局特征，作为分层特征，建立无监督的深度领域对抗神经网络，将有标签的训练数据和无标签的测试数据提取分层特征后作为输入，对深度领域对抗网络进行训练，将待识别的情感语音数据预处理后输入训练好的深度领域对抗网络，得到语音情感识别结果。本发明识别效果更好、识别率更高。

公开(公告)号：CN111259761A

公开(公告)日：2020-06-09

申请号：CN202010030240.1

申请日：2020-01-13

Applicant: 东南大学

Inventor： 郑文明 ,  李阳 ,  江星洵 ,  宗源 ,  李溯南

IPC: G06K9/00 ,  G06N3/04 ,  G06N3/08 ,  A61B5/00 ,  A61B5/16

Abstract: 本发明公开了一种基于可迁移注意力神经网络的脑电情感识别方法及装置，其中，方法包括：(1)获取一个脑电情感数据库，分为训练集和测试集；(2)建立基于可迁移注意力神经网络的脑电情感识别网络，所述脑电情感识别网络包括特征提取器和情感分类器，所述特征提取器包括依次连接的深度特征提取模块、局部注意力子网和全局注意力子网；(3)网络进行训练，总损失为情感分类器损失加上注意力熵损失后再减去注意力子网和全局注意力子网损失，通过随机梯度下降法更新网络参数；(4)提取待识别的脑电情感数据，将其作为一个测试集样本输入训练好的脑电情感识别网络，并按照步骤(3)对脑电情感识别网络调整，得到识别的情感类别。本发明识别准确率更高。

公开(公告)号：CN111259759A

公开(公告)日：2020-06-09

申请号：CN202010030236.5

申请日：2020-01-13

Applicant: 东南大学

Inventor： 宗源 ,  江星洵 ,  郑文明 ,  李阳 ,  路成 ,  唐传高 ,  李溯南

IPC: G06K9/00 ,  G06F17/18 ,  G06F16/75 ,  G06F16/78 ,  G06F16/783

Abstract: 本发明公开了一种基于域选择迁移回归的跨数据库微表情识别方法及装置，包括：(1)获取两个微表情数据库，分别作为训练数据库和测试数据库，其中，每个微表情数据库中包含有若干微表情视频和对应的微表情类别标签；(2)将训练数据库和测试数据库中的微表情视频转换为微表情图像序列，并从中提取出灰度人脸图像，再经过分块后提取人脸局部区域特征；(3)建立域选择迁移回归模型，并采用人脸局部区域特征对其进行学习，得到一个连接人脸局部区域特征与微表情类别标签之间的稀疏投影矩阵；(4)对于待识别的微表情，按照步骤(2)得到人脸局部区域特征，并采用学习到的稀疏投影矩阵，得到对应的微表情类别标签。本发明准确率更高。

公开(公告)号：CN111128368A

公开(公告)日：2020-05-08

申请号：CN201911053897.3

申请日：2019-10-31

Applicant: 东南大学

Inventor： 郑文明 ,  唐传高 ,  柯晓燕 ,  仇娜娜 ,  闫思蒙 ,  宗源

IPC: G16H50/20 ,  G06K9/00

Abstract: 本发明公开了一种基于视频表情行为分析的孤独症谱系障碍自动检测方法及装置，包括：S1、视频采集：采集被试幼儿和照顾者在静止脸范式条件下静止脸期间互动过程中幼儿的视频数据；S2、人脸预处理：检测视频中被试幼儿的人脸位置，裁剪出人脸区域，并对不同姿态的人脸进行校正和归一化；S3、表情行为指标特征提取：从预处理好的人脸图像上提取纹理特征，对输入的纹理特征分类，得到人脸运动单元预测结果，再将该结果作为输入信号，对信号在时间维度上按窗长统计，得到表情分段统计特征，进而作为表情行为指标特征；S4、高危孤独症谱系障碍风险预测：利用表情行为特征预测幼儿是否为高危孤独症谱系障碍。

公开(公告)号：CN110353675A

公开(公告)日：2019-10-22

申请号：CN201910747637.X

申请日：2019-08-14

Applicant: 东南大学

Inventor： 郑文明 ,  宋腾飞 ,  刘素媛 ,  宗源

IPC: A61B5/0476 ,  A61B5/00 ,  G06K9/62

Abstract: 本发明公开了一种基于图片生成的脑电信号情感识别方法，其中方法包括：(1)获取用户处于不同情感时的原始脑电信号；(2)将原始脑电信号去噪后通过带通滤波器提取多个频段信号，并计算每个频段信号的微分熵作为脑电特征；(3)将每个脑电特征数据通过插值生成一张图片，将所有生成的图片串接起来作为脑电特征图片；(4)构建情感判别网络，包括主分支、注意力分支、特征提取单元、图卷积分支和全连接层；(5)将脑电特征图片输入所述情感判别网络进行训练；(6)按照步骤(1)-(3)提取待识别脑电信号的脑电特征图片，并输入到训练好的情感判别网络，选取概率最大的情感类别作为识别的情感类型。本发明识别准确率更高。