公开(公告)号：CN116258943A

公开(公告)日：2023-06-13

申请号：CN202310279248.5

申请日：2023-03-21

Applicant: 南开大学

Inventor： 杨巨峰 ,  张知诚

IPC: G06V10/82 ,  G06V10/80 ,  G06V10/44 ,  G06V10/774 ,  G06V20/00

Abstract: 本发明公开了一种基于边缘信息的图像平面区域检测方法，首先采用神经网络对图像提取各层级的基础骨架网络特征，然后将得到的各层级特征通过上采样与层间链接的方式提取多层级的上下文特征，以及将得到的中间层级的特征通过迭代优化网络层来提取图像的多层级边缘特征，并优化不同层级特征至预期的特征维度；再将多层级上下文特征以及多层级边缘特征进行逐层级地成对融合，最后将融合后的特征提供给要训练的下游图像平面检测任务目标模型，以提升目标模型在下游图像平面检测任务的表现。

公开(公告)号：CN117037017A

公开(公告)日：2023-11-10

申请号：CN202310597187.7

申请日：2023-05-23

Applicant: 南开大学

Inventor： 杨巨峰 ,  张知诚

IPC: G06V20/40 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明公开了一种基于关键帧擦除的视频情感检测方法，分别对包括视觉数据编码和音频数据编码的多模态数据进行初始特征提取；在视觉和音频两个模态内的时域贡献得分，提取鲁棒的单模态特征；计算视觉和音频特征之间的相关性，得到跨模态的时域贡献得分和基于注意力加权的音频特征，与单模态视觉特征融合形成增强后的视觉特征；以及得到增强后音频特征；利用融合的增强后跨模态视觉特征F”v与音频特征F”a完成视频情感的检测；筛选出给定视频的情感关键帧；得到最终的视频情感检测模型以进行检测。与现有技术相比，本发明通过对视频关键帧与非关键帧的显示建模并联合优化，提高了视频情感检测的效果。

公开(公告)号：CN118042149A

公开(公告)日：2024-05-14

申请号：CN202410096513.0

申请日：2024-01-24

Applicant: 南开大学

Inventor： 杨巨峰 ,  张知诚 ,  胡钧耀

IPC: H04N19/503 ,  H04N19/136

Abstract: 本发明涉及计算机视觉领域，尤其涉及一种基于双分布外推扩散模型的视频预测方法，包括：通过轻量级运动自编码器将条件视频帧变换为条件运动线索；通过对条件运动线索加噪建立扩散模型；通过多层分层运动分布适配器将运动线索外推，转换适配条件帧特征，获得扩散模型的引导线索；根据参考帧的外观特征和获得的引导线索进行运动线索的预测；获得未来运动线索；通过对未来运动线索反复进行迭代，不断细化未来运动线索；获得去噪修正后的未来运动线索；通过轻量级运动解码器变换到未来视频帧；本发明通过对运动线索在更紧凑的运动空间进行建模，并在预测时引入运动线索特征，进一步提升视频预测模型的预测性能和推理速度。

公开(公告)号：CN117314958A

公开(公告)日：2023-12-29

申请号：CN202311150357.3

申请日：2023-09-07

Applicant: 南开大学

Inventor： 杨巨峰 ,  张知诚

IPC: G06T7/246 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464

Abstract: 本发明公开了一种基于遮挡推理的视频多平面跟踪方法，对视频中多个平面目标进行跟踪，针对遮挡区域分别根据平面的外观特征获取平面的位置，根据平面目标的历史轨迹预测当前时刻的平面目标位置和姿态，结合两种预测结果进行遮挡区域的建模，在遮挡区域的位置先验指导下，进一步利用双流注意力网络融合两者的预测结果，以得到最终跟踪结果。与现有技术相比，本发明实现了高精度的多个高自由度的平面目标跟踪。

公开(公告)号：CN119848691A

公开(公告)日：2025-04-18

申请号：CN202411871249.X

申请日：2024-12-18

Applicant: 南开大学 ,  嗯噢哇网络科技有限公司

Inventor： 杨巨峰 ,  周锐 ,  王志伟 ,  李皓 ,  吴大威 ,  张知诚

IPC: G06F18/2431 ,  G06F18/25 ,  G06F18/241 ,  G06N3/0455

Abstract: 本发明属于计算机人工智能领域，尤其涉及一种基于游客情感的文旅场景舆情分析、预警与归因方法。包括如下方法：数据爬取、七级度分析、多维度分析、归因分析。通过分析游客的情绪和意见，可以快速识别出问题点，如服务质量、设施条件等，并及时进行改进。本发明不仅可以提升现有客户的满意度，也可能转化为口碑推广，从而吸引更多的新客户。此方法可以提供丰富的情绪数据和用户反馈，这些信息可以作为决策制定的依据，帮助企业更好地了解市场趋势、消费者的需求和偏好，从而做出更加准确和有效的决策。

公开(公告)号：CN118135449A

公开(公告)日：2024-06-04

申请号：CN202410097597.X

申请日：2024-01-24

Applicant: 南开大学

Inventor： 杨巨峰 ,  张知诚 ,  赵攀诚

IPC: G06V20/40 ,  G06V10/80 ,  G06V10/82 ,  G06V10/77 ,  G06V10/764 ,  G06N3/0455 ,  G06N3/08 ,  G10L15/02 ,  G10L15/26 ,  G10L15/16 ,  G10L15/18

Abstract: 本发明涉及视频处理技术领域，尤其涉及一种基于时序掩码蒸馏的视频情感分析方法，包括通过手工创建情感词典，获取视频情感数据，提取音频数据和视觉图像，通过多模态编码器将音频数据和视觉图像映射到联合编码空间，通过情感分类器从所述联合编码空间中识别情感，根据情感计算时间维度的情感得分，分析视频情感数据，获得情绪类别、情感类别和情感程度，设计时序情感互补学习方案以及构建掩码重建任务，预测视频情感。本发明提出了一种新颖的掩码情感建模方案，以利用多模态之间的时间情感特征，时间维度的情感得分为目标，学习鉴别情感表征，提高了现有视频情感分析方法的性能。