公开(公告)号：CN116863532A

公开(公告)日：2023-10-10

申请号：CN202310603539.5

申请日：2023-05-25

Applicant: 中国科学院信息工程研究所

Inventor： 李敏 ,  李风发 ,  任俊星 ,  陈琳 ,  符济韬 ,  姜淼 ,  黄子豪

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/82

Abstract: 本发明提供一种基于深度学习的实时异常行为识别方法及系统，方法包括：在确定成功开启对包含目标对象的视频流逐帧进行目标检测的情况下，基于目标检测算法对所述视频流逐帧进行目标检测，得到多个边界框，所述多个边界框是根据所述视频流的检测场景确定的；根据所述多个边界框的相对位置变化，判断所述目标对象在所述检测场景下是否存在异常行为。所述系统执行所述方法。本发明可以节省标注数据集的人力成本，只在COCO公开数据集上进行训练即可在实际应用中取得实际应用的效果；并且本发明没有经过复杂的光流计算，推理时间短具有很强的实时性。

公开(公告)号：CN119884412A

公开(公告)日：2025-04-25

申请号：CN202411684267.7

申请日：2024-11-22

Applicant: 中国科学院信息工程研究所

Inventor： 李敏 ,  郜成华 ,  任俊星 ,  陈琳 ,  符济韬 ,  苏雯雯 ,  孙浩彬 ,  石志鑫

IPC: G06F16/732 ,  G06F16/783 ,  G06V10/80 ,  G06V10/74 ,  G06V20/40

Abstract: 本发明提供一种基于时空融合的多模态存量视频高效检索方法与装置，包括：计算待检索视频的帧间相似度，并基于帧间相似度删除待检索视频的冗余帧，得到目标待检索视频；基于查询文本对目标待检索视频进行筛选处理，得到多个目标待检索视频片段；对查询文本和多个目标待检索视频片段分别进行特征提取处理，得到文本特征和多个视频特征；调用基于多模态融合的视频片段检索模型基于文本特征和多个视频特征进行模态交互预测，得到预测结果，并基于预测结果确定多个目标待检索视频片段中与查询文本对应的目标视频片段，通过删除冗余帧以及层级化目标视频片段搜索，实现从海量视频中快速筛选出目标视频片段，有效提升了视频筛选的效率。