-
公开(公告)号：CN106096641B
公开(公告)日：2019-03-01
申请号：CN201610397707.X
申请日：2016-06-07
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于遗传算法的多模态情感特征融合方法，属于信号处理与模式识别领域。包括以下内容：建立一个多模态情感数据库，然后对于所述数据库中的每个样本，提取多模态情感数据库样本的各模态情感特征，例如：面部表情特征、语音情感特征以及身体姿态特征等，构造多模态情感特征矩阵，将遗传算法用于多个模态的特征融合，包括基于遗传算法的特征选择、交叉以及重组，最后采用遗传算法对多模态情感特征进行F次迭代的特征选择和融合。本发明针对多模态情感分类识别，提出将遗传算法用于特征层融合，为基于特征层融合的多模态情感分类识别提供了一种新的有效途径。
-
公开(公告)号：CN108363979A
公开(公告)日：2018-08-03
申请号：CN201810145292.6
申请日：2018-02-12
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于双通道三维卷积神经网络的新生儿疼痛表情识别方法，该方法包括以下步骤：(1)采集新生儿不同状态下的视频片段，按疼痛程度将视频分为n类表情，建立新生儿面部表情视频库；(2)将所述面部表情视频库中的每一个视频片段剪辑成l帧长的帧序列，对每一帧图像进行灰度化，并提取LBP特征图；(3)构造一种双通道三维卷积神经网络；(4)将所述灰度图序列及LBP特征图序列输入所述双通道三维卷积神经网络，对网络进行训练、调优，保存已训练的网络模型。该方法将深度卷积神经网络拓展应用到新生儿疼痛表情识别领域，以提高新生儿疼痛评估的准确性，为开发一种新生儿疼痛评估辅助系统提供技术支撑。
-
公开(公告)号：CN107330393A
公开(公告)日：2017-11-07
申请号：CN201710497579.0
申请日：2017-06-27
Applicant: 南京邮电大学
CPC classification number: G06K9/00315 , G06K9/00288 , G06K9/6256 , G06K9/6267 , G06N3/084
Abstract: 本发明涉及一种基于视频分析的新生儿疼痛表情识别方法，通过引入基于三维卷积神经网络的深度学习方法，将其运用于新生儿疼痛表情识别工作中，能够有效识别出新生儿处于安静、啼哭状态以及致痛性操作引起轻度疼痛、剧烈疼痛等表情，为开发新生儿疼痛自动评估系统提供一种新的途径，具体引入三维卷积神经网络，通过3D卷积核提取视频片段的时域和空域特征，避免人工提取特征的繁琐，且所提取特征更具优越性，并且在深度学习平台上自动学习并识别新生儿疼痛表情，与传统人工评估方式相比，更加客观，更加准确，并且节省了大量人力资源。
-
公开(公告)号：CN106803098A
公开(公告)日：2017-06-06
申请号：CN201611233344.2
申请日：2016-12-28
Applicant: 南京邮电大学
IPC: G06K9/62
Abstract: 本发明公开了一种基于语音、表情与姿态的三模态情感识别方法，该方法首先将训练样本与测试样本的语音、表情、姿态三个模态的情感特征分别进行降维并归一化，然后进行特征融合，利用训练样本的融合特征数据对基于支持向量机的分类器进行训练，最后利用已经训练好的分类器对新输入的测试样本进行情感分类，分为悲伤、高兴、厌恶、恐惧、惊吓、中性六种情感。本发明综合利用了情感表达过程中的各种模态的信息，实现各模态情感信息之间的交叉互补，同时减少了各模态信息的冗余性，能有效地提高情感识别的准确率，为人机交互领域的情感交流系统提供了一种新的方法和途径。
-
公开(公告)号：CN106682616A
公开(公告)日：2017-05-17
申请号：CN201611231363.1
申请日：2016-12-28
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于双通道特征深度学习的新生儿疼痛表情识别方法。该方法首先对新生儿面部图像进行灰度化，提取局部二值模式（Local Binary Pattern，LBP）特征图谱；然后用一个双通道卷积神经网络对并行输入的新生儿面部图像的灰度图及其LBP特征图两个通道的特征进行深度学习；最后采用基于softmax的分类器对两个通道的融合特征进行表情分类，分为平静、哭、轻度疼痛、剧烈疼痛四类表情。该方法结合灰度图像及其LBP特征图谱两个通道的特征信息，能够有效地识别出平静、哭、轻度疼痛、剧烈疼痛等表情，并对新生儿面部图像的光照、噪声与遮挡问题具有很好的鲁棒性，为开发出新生儿疼痛表情识别系统提供了一种新的方法和途径。
-
Patent Agency Ranking
公开(公告)号：CN118823845A
公开(公告)日：2024-10-22
申请号：CN202410809422.7
申请日：2024-06-21
Applicant: 南京邮电大学
IPC: G06V40/16 , G06V10/44 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/084
Abstract: 本发明提出了一种基于双流DeepCCA卷积神经网络的新生儿疼痛情感识别方法，包括：对新生儿疼痛情感动态表情库进行预处理，得到符合网络输入要求的单帧图像和光流图；将得到的单帧图像和光流图作为输入，分别送入空间流和时间流的VGG16网络提取情感特征，并将提取出的情感特征进行对应拼接；基于DeepCCA算法，通过优化CCA_loss值使得空间流和时间流网络中的每个卷积模块提取出的特征相关性最大化；将最大化后的特征送入后续三个全连接层，并进行识别分类。本发明可以有效最大化空间流和时间流之间的数据特征相关性，进而提高模型对新生儿疼痛情感识别的准确率。
-
公开(公告)号：CN114169364B
公开(公告)日：2024-07-26
申请号：CN202111366669.9
申请日：2021-11-18
Applicant: 南京邮电大学
IPC: G06F18/20 , G06F18/24 , G06N3/0464 , G06N3/0442 , G06F18/22
Abstract: 本发明提出了一种基于时空图模型的脑电情感识别方法，包括获取脑电情感数据库，并对数据进行预处理，将数据集划分为训练集和测试集；对时长为T的脑电信号进行样本划分，用一个时间长度为M的滑动窗口对脑电信号进行采样，得到T/M个脑电样本；构建基于Bert的图模型网络，对脑电样本各时刻信号的空间特征进行学习分析；构造时间LSTM网络，用LSTM网络分析脑电样本各时刻之间的时间相关性；利用训练集对所构建的时空Bert图模型网络进行训练，优化网络模型，利用测试集对优化模型网络进行测试，统计分类识别。本发明不仅考虑脑电空间信息，还加入时间信息，实现对脑电信号特征的较全面学习，提高识别准确率。
-
公开(公告)号：CN117975523A
公开(公告)日：2024-05-03
申请号：CN202311653026.1
申请日：2023-12-04
Applicant: 南京邮电大学
Abstract: 本发明提供一种基于多层次特征和多头自注意力融合的面部表情识别方法，包括：RestNet50提取图像整体特征，得到表情图像的整体特征向量；Haar级联分类器定位人脸并进行面部关键点检测，将面部图像切割成五个局部区域并对每个区域提取特征；GCN处理图结构化数据，在图形数据中进行卷积操作提取特征；对三种特征使用LMMD来计算源域与目标域的多层次特征概率分布差异；将三种特征利用多头自注意力机制进行特征融合，得到的融合特征利用LMMD计算分布差异。本发明结合整体特征、局部特征及图卷积特征，利用多头自注意力机制进行特征融合，获得更加丰富全面的信息，提高了泛化性，采用LMMD减小源域和目标域之间的特征分布差异，通过子域自适应捕获到更多的细粒度信息。
-
公开(公告)号：CN117746908A
公开(公告)日：2024-03-22
申请号：CN202311672258.1
申请日：2023-12-07
Applicant: 南京邮电大学
Abstract: 本发明提供一种基于时频特征分离式transformer交叉融合架构的语音情感识别方法，包括以下步骤S1、对原始语音信号进行预处理，将所述原始语音信号转换为相应的特征表示，包括语谱图和音频梅尔频率倒谱系数；S2、从所述特征表示中进行特征提取，使用两条支路提取特征，其中一条支路通过时频分离式transformer交叉融合架构提取特征，另一条支路通过扩张因果卷积网络提取特征；S3、进行特征融合，使用transformer的多头自注意力机制来动态地融合时频分离式transformer交叉融合架构和扩张因果卷积输出特征；S4、输出结果，使用输出层来对时频分离式transformer交叉融合架构的输出进行分类或回归，以使时频分离式transformer交叉融合架构适应训练数据，并对任务进行预测或分类。
-
公开(公告)号：CN117744022A
公开(公告)日：2024-03-22
申请号：CN202311644928.9
申请日：2023-12-04
Applicant: 南京邮电大学
IPC: G06F18/25 , G06V40/16 , G06V10/82 , G06N3/0464 , G06F18/241
Abstract: 本发明提供了一种基于时空双向扩张因果卷积和Transfomer的多模态情感识别方法，包括：处理表情、语音模态的视频，得到表情序列和语谱图序列，提取姿态特征得到姿态特征序列；ResNet18网络处理表情和语音模态，得到特征图，重排列特征图构成对应的空间特征序列；对得到的空间特征序列通过空间注意力双向扩张因果卷积网络捕获空间上的依赖关系；再将表情和语音特征序列以及姿态特征序列送入时间注意力双向扩张因果卷积网络捕获时间上的依赖关系；将表情、语音、姿态特征堆叠得到特征矩阵，通过Transformer实现特征融合。本发明通过时空双向扩张因果卷积网络捕获模态内部的时空依赖，获得聚合了时空信息的高级模态特征，采用Transformer捕获模态间的特征交互，实现多模态特征融合。
-
-
-
-
-
-
-
-
-
Search Results
66
records
(took 0.021 seconds)
