-
公开(公告)号:CN116958876B
公开(公告)日:2024-06-14
申请号:CN202310940861.7
申请日:2023-07-28
Applicant: 郑州轻工业大学
IPC: G06V20/40 , G06V40/20 , G06V10/764 , G06V10/774 , G06V10/46 , G06V10/52 , G06V10/80 , G06V10/762 , G06T7/80
Abstract: 本发明公开了一种基于多光谱双目立体视觉的视频异常行为检测方法和系统,该方法包括基于空间坐标变换关系和图像配准模型,在多光谱平台下对双目视频进行视觉标定,根据标定结果实现图像背景建模,分割前景目标;针对分割后的目标,通过建立目标表观纹理模型、运动显著性模型和深度显著性模型来确定目标在全局和局部时空域中的各个光谱维显著性特征;将所有显著性特征在不同尺度下组成多尺度多模态特征融合模型,通过融合模型检测目标的异常行为。本发明提高了目标异常检测效率和检测准确性。
-
公开(公告)号:CN117786492A
公开(公告)日:2024-03-29
申请号:CN202311826801.9
申请日:2023-12-28
Applicant: 郑州轻工业大学
IPC: G06F18/241 , G06F18/25 , G06F18/211 , G06V20/40 , G06V10/40 , G06V20/62 , G06N3/0442 , G06N3/0499 , G06N3/048 , G06N3/045
Abstract: 本申请提供一种多模态情感分析方法、系统、计算机设备及可读存储介质,涉及情感预测技术领域,该方法包括:将原始视频数据输入到特征提取模块,获得语境级模态表征;将所述语境级模态表征输入到去噪模块,获得去除噪声的模态表征;将所述去除噪声的模态表征输入到情感增强模块,获得情感增强模态表征;将所述去除噪声的文本模态表征、所述情感增强声学模态表征和所述情感增强视觉模态表征输入到上下文交互模块中,获得上下文交互增强模态表征;将所述上下文交互增强模态表征输入到情感预测模块,输出情感预测结果,从而可以提高情感预测的准确性。
-
公开(公告)号:CN118153580A
公开(公告)日:2024-06-07
申请号:CN202410015531.1
申请日:2024-01-05
Applicant: 郑州轻工业大学
IPC: G06F40/30 , G06F16/33 , G06F16/335
Abstract: 本申请提供一种语义增强的多模态情感分析方法、系统、电子设备及存储介质,所述方法包括:将原始视频数据输入到特征提取模块,获得各个模态的特征向量;将各个模态的特征向量输入到语义增强模块,分别获得音频特征向量和视觉特征向量对应的文本特征向量,将对应的文本特征向量拼接到原文本特征向量上获得增强后的文本特征向量;将增强后的文本特征向量、音频特征向量和视觉特征向量输入到多模态感知模块,获取模态间高关联性的特征向量;在差异性约束条件下,获取不同模态之间的高差异性特征向量;将高关联性的特征向量和高差异性的特征向量拼接,获得融合特征向量;将融合特征向量输入到情感预测网络,输出情感预测结果。
-
公开(公告)号:CN116958876A
公开(公告)日:2023-10-27
申请号:CN202310940861.7
申请日:2023-07-28
Applicant: 郑州轻工业大学
IPC: G06V20/40 , G06V40/20 , G06V10/764 , G06V10/774 , G06V10/46 , G06V10/52 , G06V10/80 , G06V10/762 , G06T7/80
Abstract: 本发明公开了一种基于多光谱双目立体视觉的视频异常行为检测方法和系统,该方法包括基于空间坐标变换关系和图像配准模型,在多光谱平台下对双目视频进行视觉标定,根据标定结果实现图像背景建模,分割前景目标;针对分割后的目标,通过建立目标表观纹理模型、运动显著性模型和深度显著性模型来确定目标在全局和局部时空域中的各个光谱维显著性特征;将所有显著性特征在不同尺度下组成多尺度多模态特征融合模型,通过融合模型检测目标的异常行为。本发明提高了目标异常检测效率和检测准确性。
-
-
-