-
公开(公告)号：CN119131878A
公开(公告)日：2024-12-13
申请号：CN202311665359.6
申请日：2023-12-06
Applicant: 江苏大学
IPC: G06V40/20 , G06V20/40 , G06V10/62 , G06V10/44 , G06V10/42 , G06V10/52 , G06V10/80 , G06V10/764 , G06V10/766 , G06V10/82 , G06N3/0464 , G06N3/0455 , G06N3/0985 , G06N3/048
Abstract: 本发明公开了一种基于联合正则行为主体追踪的行为检测方法、系统，由输入视频的空间特征获取具有显著空间语义的特征Fs，特征Fs使用目标偏移互信息交叉熵损失进行约束；将输入视频的时序特征Fv与特征Fs拼接，得到特征F，特征F经边缘特征下采样，得到特征F↓；将特征F↓送入多尺度Transformer网络，经过注意力机制给特征F↓分配不同的权重，得到多尺度特征Z，多尺度特征Z在Transformer解码器中进行分类和回归，完成行为检测任务；在完成行为检测的过程中，利用掩蔽重构提高行为检测的准确性。利用本发明方法，可以显著提高行为检测的性能。
-
公开(公告)号：CN111753549B
公开(公告)日：2023-07-21
申请号：CN202010441528.8
申请日：2020-05-22
Applicant: 江苏大学
IPC: G06F40/30 , G06F16/35 , G06F18/241 , G06F18/25 , G06N3/0464 , G06N3/0442 , G06N3/08 , G10L25/03 , G10L25/63
Abstract: 本发明涉及一种基于注意力机制的多模态情感特征学习、识别方法，对音频、文本样本进行特征提取，得到FBank声学特征和词向量特征；将得到的特征分别作为音频情感特征编码器和文本情感特征编码器的原始输入特征，通过编码器提取不同模态的情感语义特征；对得到的情感语义特征分别进行音频注意力、模态跳变注意力和文本注意力学习，提取情感显著的音频特征、语义对齐的音频特征、语义对齐的文本特征和情感显著的文本特征四种互补的情感特征；将四种特征融合之后进行分类即可得到对应的情感类别。本发明解决了传统多模态情感识别中模态内情感无关因素和模态间情感语义不一致导致的情感识别率低的问题，能够有效地提高多模态情感识别准确率。
-
公开(公告)号：CN106067989B
公开(公告)日：2022-05-17
申请号：CN201610273130.1
申请日：2016-04-28
Applicant: 江苏大学
IPC: H04N21/43 , H04N21/8547 , G06V40/16
Abstract: 本发明公开了一种人像语音视频同步校准装置及方法，使用现有的成熟的人脸识别技术、动态嘴唇识别技术、人声提取技术等，通过信息化手段和硬件设备的设计，实现人像语音视频同步校准功能。本发明只采用低时间复杂度的左移位，右移位和异或计算，提高了计算性能，而且不需要语音和视频文件中加入时间戳信息，减少了信息存储量。本发明可应用于人像语音视频的同步检测以及对异步语音视频的校准。
-
公开(公告)号：CN110070895B
公开(公告)日：2021-06-22
申请号：CN201910179592.0
申请日：2019-03-11
Applicant: 江苏大学
Abstract: 本发明公开了一种基于监督变分编码器因素分解的混合声音事件检测方法，包括如下步骤：接收语音信号，并对语音信号进行预处理；提取预处理后的语音信号特征；使用监督变分自动编码器提取声音事件潜在属性空间；使用因素分解方法分解构成混合声音的各种因素，进而学习得到每个特定声音事件相关的特征表示；再使用对应的声音事件检测器检测特定声音事件是否发生。本发明采用因素分解学习的方法解决混合声音中声音事件类别较多的情况下，声音事件检测准确率不高的问题，有效提高真实场景声音事件检测的准确度，且该方法还可用于说话人识别等任务。
-
公开(公告)号：CN106469560B
公开(公告)日：2020-01-24
申请号：CN201610600762.4
申请日：2016-07-27
Applicant: 江苏大学
Abstract: 本发明公开了一种基于无监督域适应的语音情感识别方法，提出的模型包括：特征提取，情感标签预测，域标签预测。特征提取：首先将原始输入数据分解成两块特征，情感判别特征和情感无关特征，然后将情感判别特征进行层次非线性转换得到高层情感特征。将高层情感特征用于情感标签和域标签的预测。利用梯度下降法对整个模型的参数进行更新，得到特征提取层的各层权重。然后，进行特征提取，源域有标签样本通过训练好的特征提取层得到高层情感特征。最后，进行分类器SVM的训练，将源域有标签样本的高层情感特征和相对应的情感标签输入到SVM中训练，训练好的SVM可用于目标域测试样本的分类。解决了语音情感识别中训练样本和测试样本数据分布不同的问题。
-
Patent Agency Ranking
公开(公告)号：CN106778563A
公开(公告)日：2017-05-31
申请号：CN201611099825.9
申请日：2016-12-02
Applicant: 江苏大学
CPC classification number: G06K9/00302 , G06K9/00281 , G06K9/6262 , G06K9/6269
Abstract: 本发明公开了一种基于空间连贯特征的快速任意姿态人脸表情识别方法。首先合成任意姿态人脸图像对应的正脸图像。其次基于合成的正脸图像检测51个关键特征点，并以特征点为中心提取关键区域。然后基于关键区域进行快速无监督特征学习。最后以每个关键区域为单位进行卷积和池化得到基于无监督特征学习的高层特征，联合每个关键区域的高层特征与几何位置特征得到最终用于任意姿态人脸表情识别的空间连贯特征，将此特征送入SVM训练得到统一表情识别模型，完成任意姿态的人脸表情识别。本发明解决了传统特征由于不具有空间约束关系而导致识别率低、以及传统多姿态人脸表情识别中需要为每种姿态建立模型而导致效率低等问题，有效提高识别准确率及效率。
-
公开(公告)号：CN103605990B
公开(公告)日：2017-02-08
申请号：CN201310502891.6
申请日：2013-10-23
Applicant: 江苏大学
Abstract: 一种基于图聚类标签传播的集成多分类器融合分类方法，包括：使用训练样本训练基本分类器，对训练样本和测试样本进行多次聚类，得到多种聚类划分状态；根据聚类划分状态进行标签传播，得到测试样本的聚类类别标签；所有聚类划分状态和基本分类器上述步骤处理，得到测试样本的聚类类别信息集合；将聚类类别信息和基本分类器的分类信息共同构成集成分类器的决策矩阵，并根据聚类类别信息和基本分类器的分类信息的分类准确率设置分类融合目标方程的参数以控制其在融合中的限制范围，根据分类融合目标方程将待分类样本的聚类类别信息和基本分类器的预测标签信息使用BGCM法进行融合分类，得到最终的类别标签。本发明在样本存在差异时，分类准确率高。
-
公开(公告)号：CN103810994B
公开(公告)日：2016-09-14
申请号：CN201310401319.0
申请日：2013-09-05
Applicant: 江苏大学
Abstract: 本发明公开了一种基于情感上下文的语音情感推理方法及系统，该方法包括：在相邻情感语句中提取上下文语音情感特征和传统语音情感特征，按特征类别的不同分别建立上下文模型和传统模型；对待分析连续语音划分为情感相对独立的情感语句序列，然后采用基于情感交互矩阵的融合方法将上下文模型和传统模型对待分析连续语音的当前情感语句的决策结果进行融合，得到初步的识别结果；从整个待分析连续语音角度对每个语句的情感类别用情感上下文推理规则进行调整，得到待分析连续语音的情感类别序列。本发明采用情感上下文的情感推理算法，借助情感交互矩阵，对待分析情感语句的情感状态进行分析和调整，从而提高连续语音情感识别的准确率。
-
公开(公告)号：CN103810994A
公开(公告)日：2014-05-21
申请号：CN201310401319.0
申请日：2013-09-05
Applicant: 江苏大学
Abstract: 本发明公开了一种基于情感上下文的语音情感推理方法及系统，该方法包括：在相邻情感语句中提取上下文语音情感特征和传统语音情感特征，按特征类别的不同分别建立上下文模型和传统模型；对待分析连续语音划分为情感相对独立的情感语句序列，然后采用基于情感交互矩阵的融合方法将上下文模型和传统模型对待分析连续语音的当前情感语句的决策结果进行融合，得到初步的识别结果；从整个待分析连续语音角度对每个语句的情感类别用情感上下文推理规则进行调整，得到待分析连续语音的情感类别序列。本发明采用情感上下文的情感推理算法，借助情感交互矩阵，对待分析情感语句的情感状态进行分析和调整，从而提高连续语音情感识别的准确率。
-
公开(公告)号：CN103605990A
公开(公告)日：2014-02-26
申请号：CN201310502891.6
申请日：2013-10-23
Applicant: 江苏大学
Abstract: 一种基于图聚类标签传播的集成多分类器融合分类方法，包括：使用训练样本训练基本分类器，对训练样本和测试样本进行多次聚类，得到多种聚类划分状态；根据聚类划分状态进行标签传播，得到测试样本的聚类类别标签；所有聚类划分状态和基本分类器上述步骤处理，得到测试样本的聚类类别信息集合；将聚类类别信息和基本分类器的分类信息共同构成集成分类器的决策矩阵，并根据聚类类别信息和基本分类器的分类信息的分类准确率设置分类融合目标方程的参数以控制其在融合中的限制范围，根据分类融合目标方程将待分类样本的聚类类别信息和基本分类器的预测标签信息使用BGCM法进行融合分类，得到最终的类别标签。本发明在样本存在差异时，分类准确率高。
-
-
-
-
-
-
-
-
-
Search Results
67
records
(took 0.026 seconds)
