公开(公告)号：CN113806482A

公开(公告)日：2021-12-17

申请号：CN202111095182.1

申请日：2021-09-17

Applicant: 中国电信集团系统集成有限责任公司

Inventor： 陈婧 ,  冯泽润 ,  王海莺 ,  高旭巍 ,  郭彩丽 ,  李忠 ,  张宇峰 ,  李金岭 ,  杜忠田 ,  王彦君 ,  姜祖运

IPC: G06F16/33 ,  G06F16/35 ,  G06F16/75 ,  G06F16/783 ,  G06F40/289 ,  G06F40/30 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明实施例提供视频文本跨模态检索的方法、存储介质和电子装置，所述方法包括：获取训练样本集，其包括成对标注的视频和文本，对视频进行分帧处理并提取帧特征，对文本进行分词处理并提取词特征，所述词特征包括至少两类词性特征，利用帧特征和至少两种词性特征对预训练的跨模态检索模型进行训练，获得训练好的跨模态检索模型，将待测视频和文本输入训练好的跨模态检索模型中进行视频和文本的跨模态检索。本发明细化了视频文本跨模态特征匹配粒度，增强了视频文本跨模态特征匹配过程的可解释性，提高了视频文本跨模态检索的准确率。