公开(公告)号：CN119884412A

公开(公告)日：2025-04-25

申请号：CN202411684267.7

申请日：2024-11-22

Applicant: 中国科学院信息工程研究所

Inventor： 李敏 ,  郜成华 ,  任俊星 ,  陈琳 ,  符济韬 ,  苏雯雯 ,  孙浩彬 ,  石志鑫

IPC: G06F16/732 ,  G06F16/783 ,  G06V10/80 ,  G06V10/74 ,  G06V20/40

Abstract: 本发明提供一种基于时空融合的多模态存量视频高效检索方法与装置，包括：计算待检索视频的帧间相似度，并基于帧间相似度删除待检索视频的冗余帧，得到目标待检索视频；基于查询文本对目标待检索视频进行筛选处理，得到多个目标待检索视频片段；对查询文本和多个目标待检索视频片段分别进行特征提取处理，得到文本特征和多个视频特征；调用基于多模态融合的视频片段检索模型基于文本特征和多个视频特征进行模态交互预测，得到预测结果，并基于预测结果确定多个目标待检索视频片段中与查询文本对应的目标视频片段，通过删除冗余帧以及层级化目标视频片段搜索，实现从海量视频中快速筛选出目标视频片段，有效提升了视频筛选的效率。