-
公开(公告)号:CN111259759B
公开(公告)日:2023-04-28
申请号:CN202010030236.5
申请日:2020-01-13
Applicant: 东南大学
IPC: G06V40/16 , G06V10/766 , G06V10/778 , G06F16/75 , G06F16/78 , G06F16/783
Abstract: 本发明公开了一种基于域选择迁移回归的跨数据库微表情识别方法及装置,包括:(1)获取两个微表情数据库,分别作为训练数据库和测试数据库,其中,每个微表情数据库中包含有若干微表情视频和对应的微表情类别标签;(2)将训练数据库和测试数据库中的微表情视频转换为微表情图像序列,并从中提取出灰度人脸图像,再经过分块后提取人脸局部区域特征;(3)建立域选择迁移回归模型,并采用人脸局部区域特征对其进行学习,得到一个连接人脸局部区域特征与微表情类别标签之间的稀疏投影矩阵;(4)对于待识别的微表情,按照步骤(2)得到人脸局部区域特征,并采用学习到的稀疏投影矩阵,得到对应的微表情类别标签。本发明准确率更高。
-
公开(公告)号:CN111128368B
公开(公告)日:2023-04-07
申请号:CN201911053897.3
申请日:2019-10-31
Applicant: 东南大学
Abstract: 本发明公开了一种基于视频表情行为分析的孤独症谱系障碍自动检测方法及装置,包括:S1、视频采集:采集被试幼儿和照顾者在静止脸范式条件下静止脸期间互动过程中幼儿的视频数据;S2、人脸预处理:检测视频中被试幼儿的人脸位置,裁剪出人脸区域,并对不同姿态的人脸进行校正和归一化;S3、表情行为指标特征提取:从预处理好的人脸图像上提取纹理特征,对输入的纹理特征分类,得到人脸运动单元预测结果,再将该结果作为输入信号,对信号在时间维度上按窗长统计,得到表情分段统计特征,进而作为表情行为指标特征;S4、高危孤独症谱系障碍风险预测:利用表情行为特征预测幼儿是否为高危孤独症谱系障碍。
-
公开(公告)号:CN115497507A
公开(公告)日:2022-12-20
申请号:CN202210956627.9
申请日:2022-08-10
Applicant: 东南大学
Abstract: 本发明公开了一种基于渐进式迁移神经网络的跨库语音情感识别方法及装置,方法包括:获取源域和目标域的若干语音信号;获取语音信号的频谱特征;建立渐进式迁移神经网络,包括深度特征提取器、情感判别器和损失计算模块,深度特征提取器用于提取低、中、高三层高维情感特征;情感判别器用于基于源域的高层高维情感特征进行情感分类;损失计算模块包括第一情感判别性保持损失计算单元、第二情感判别性保持损失计算单元、联合特征分布对齐损失计算单元、分类交叉熵损失计算单元和总损失计算单元;对神经网络进行网络训练;将情感语音样本输入神经网络,识别出情感类别。本发明可消除源域和目标域特征分布差异,识别效果更好,识别率更高。
-
公开(公告)号:CN113449661B
公开(公告)日:2022-11-25
申请号:CN202110758045.5
申请日:2021-07-05
Applicant: 东南大学
Abstract: 本发明公开了一种基于注意力机制的自适应微表情识别方法,包括如下步骤:对微表情数据库的图像序列进行一系列的预处理工作;每个微表情序列作为一个样本,从每个序列中以一定的间隔选取一定数量的图像,选取的每张图像采用基于运动放大的方法放大1‑9倍;在一组不同的放大图像间添加注意力权重,并将其最终整合成一个特征向量;对于同一序列下的一组图像对应的一组向量,通过注意力机制对这些向量施加不同的注意力权重,再次以相同方式将这些向量整合成一个向量;将最终表示向量送入网络进行训练;获取待识别的微表情图像序列,按照上述方式得到最终表示向量后,输出情感类别。本发明能够获得更高的识别准确率。
-
公开(公告)号:CN111832426B
公开(公告)日:2022-11-08
申请号:CN202010578064.5
申请日:2020-06-23
Applicant: 东南大学
IPC: G06V40/16 , G06V10/774
Abstract: 本发明公开了一种基于双稀疏迁移学习的跨库微表情识别方法及装置,方法包括:(1)获取不同的微表情训练数据库和测试数据库(2)将训练数据库和测试数据库中的微表情数据分别处理得到微表情的LBP‑TOP特征;(3)建立双稀疏迁移学习模型;(4)将训练数据库和测试数据库的微表情特征数据输入双稀疏迁移学习模型进行训练,训练时;(5)获取待识别的微表情数据LBP‑TOP特征,输入训练好的双稀疏迁移学习模型,输出情感类别。本发明准确率更高。
-
公开(公告)号:CN110515456B
公开(公告)日:2022-09-23
申请号:CN201910747644.X
申请日:2019-08-14
Applicant: 东南大学
Abstract: 本发明公开了一种基于注意力机制的脑电信号情感判别方法及装置,该方法包括:(1)获取通过脑电采集设备的多个信号电极采集的脑电信号;(2)提取每个频段信号上的过零计数特征作为脑电特征;(3)构建全局特征提取模型,所述模型包括特征提取分支和注意力向量生成分支和全局特征生成单元;(4)构建带有全连接层的长短时记忆网络LSTM,采用全局特征作为网络输入进行训练,(5)按照步骤(1)‑(3)提取待识别脑电信号的全局特征,并输入训练好的带有全连接层的长短时记忆网络,输出即为识别的情感类别。本发明识别结果更精确。
-
公开(公告)号:CN115019213A
公开(公告)日:2022-09-06
申请号:CN202210758801.9
申请日:2022-06-30
Applicant: 东南大学
IPC: G06V20/17 , G06V10/82 , G06V10/764 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于置信度显著分析的多尺度目标检测方法及装置,方法包括:(1)获取基于航拍的遥感图像目标检测数据库;(2)将数据库中的遥感图像进行预处理;(3)建立深度卷积神经网络;(4)将预处理的图像及其对应标签作为样本输入卷积神经网络,进行训练,训练时采用的损失函数为位置回归损失、置信度交叉熵损失、分类交叉熵损失以及利用置信度计算的显著性损失之和;(5)将待识别的遥感图像预处理后,作为样本输入训练好的深度卷积神经网络,并进行非极大抑制,得到最终的目标检测结果。本发明准确率更高。
-
公开(公告)号:CN110992988B
公开(公告)日:2022-03-08
申请号:CN201911343276.9
申请日:2019-12-24
Applicant: 东南大学
Abstract: 本发明公开了一种基于领域对抗的语音情感识别方法及装置,方法包括:(1)获取语音情感数据库,划分为源域数据库和目标域数据库;(2)对于每一语音信号,提取IS10特征作为全局特征;(3)将语音信号按照时间分成前后重叠50%的若干短片段,提取每个短片段的IS10特征;(4)将所有短片段的IS10特征输入双向长短时间记忆模型,再输入进注意力机制模型,输出作为局部特征;(5)将全局特征和局部特征串联作为联合特征;(6)建立神经网络,包括领域判别器和情感分类器;(7)对神经网络进行训练,网络总损失为情感分类器损失减去领域判别器损失;(8)获取待识别语音信号的联合特征,输入训练好的神经网络,得到预测的情感类别。本发明识别结果更准确。
-
公开(公告)号:CN110321820B
公开(公告)日:2022-03-04
申请号:CN201910549413.8
申请日:2019-06-24
Applicant: 东南大学
Abstract: 本发明公开了一种基于非接触式设备的视线落点检测方法,用于孤独症谱系障碍早期筛查场景下的视线落点检测系统,包括以下步骤:基于非接触式设备的数据采集场景:用于采集无约束场景下婴幼儿交互行为的多角度视频数据;视线落点检测网络:提取研究对象位置特征、头部姿态特征、眼部特征得到视线特征,与场景组件显著性特征融合,设计混合损失函数迭代更新网络模型参数,从而得到研究对象视线范围内最可能关注的显著性位置,作为视线落点。本发明避免了穿戴式设备的不利影响,且低干扰、低成本、易推广,方便采集包含研究对象、场景元素及交互对象在内多角度画面的完整信息。
-
公开(公告)号:CN110390955B
公开(公告)日:2021-07-27
申请号:CN201910583878.5
申请日:2019-07-01
Applicant: 东南大学
Abstract: 本发明公开了一种基于深度域适应性卷积神经网络的跨库语音情感识别方法,包括:(1)获取语言不同的训练数据库和测试数据库(2)将训练数据库和测试数据库中的语音信号分别处理得到每段语音信号的频谱图;(3)建立卷积神经网络;(4)将训练数据库和测试数据库的语音信号频谱图分别输入卷积神经网络进行训练,训练时,先计算训练数据库和测试数据库语音信号频谱图分别对应的全连接层输出之间的最大均值差异,之后计算训练数据库softmax层输出以及其情感类别标签之间的交叉熵,最后将最大均值差异和交叉熵相加作为网络损失采用反向传播算法更新网络参数,完成网络训练;(5)获取待识别的语音信号频谱图,输入训练好的深度卷积神经网络,输出情感类别。本发明准确率更高。
-
-
-
-
-
-
-
-
-