公开(公告)号：CN111026935B

公开(公告)日：2023-03-21

申请号：CN201911231563.0

申请日：2019-12-05

Applicant: 中国科学院自动化研究所

Inventor： 王亮 ,  黄岩 ,  牛凯

IPC: G06F16/9038

Abstract: 本发明属于信息检索、多模态计算领域，具体涉及一种基于自适应度量融合的跨模态检索重排序方法、系统、装置，旨在解决现有跨模态检索方法由于模态间异质性导致检索结果排序效果不佳的问题。本系统方法包括提取各初始查询样本、各初始检索结果样本的特征向量；计算两样本集的距离；获取初始检索结果序列及第一排序序号；通过反向检索，得到第二排序序号；基于第一、第二排序序号得到互相关分值；构建跨模态距离向量；构建单模态距离向量；获取量化间隔及第一评价分值；获取第二评价分值及融合系数；得到最终距离向量，对初始检索结果序列进行重排序；循环重排序。本发明能够一定程度缓解模态间的异质性，提升跨模态检索的效果及性能。

公开(公告)号：CN111026935A

公开(公告)日：2020-04-17

申请号：CN201911231563.0

申请日：2019-12-05

Applicant: 中国科学院自动化研究所

Inventor： 王亮 ,  黄岩 ,  牛凯

IPC: G06F16/9038

Abstract: 本发明属于信息检索、多模态计算领域，具体涉及一种基于自适应度量融合的跨模态检索重排序方法、系统、装置，旨在解决现有跨模态检索方法由于模态间异质性导致检索结果排序效果不佳的问题。本系统方法包括提取各初始查询样本、各初始检索结果样本的特征向量；计算两样本集的距离；获取初始检索结果序列及第一排序序号；通过反向检索，得到第二排序序号；基于第一、第二排序序号得到互相关分值；构建跨模态距离向量；构建单模态距离向量；获取量化间隔及第一评价分值；获取第二评价分值及融合系数；得到最终距离向量，对初始检索结果序列进行重排序；循环重排序。本发明能够一定程度缓解模态间的异质性，提升跨模态检索的效果及性能。