公开(公告)号：CN116738037A

公开(公告)日：2023-09-12

申请号：CN202310351857.7

申请日：2023-04-04

Applicant: 东南大学

Inventor： 张宇 ,  米思娅 ,  熊伟 ,  柳昊良

IPC: G06F16/9535 ,  G06F16/532 ,  G06F16/583 ,  G06V10/74 ,  G06F18/22 ,  G06F16/335 ,  G06F40/247 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种基于非对称双编码器的图文检索方法及系统，分别使用双编码器和跨模态编码器对图或/和文进行编码，通过计算图或/和文编码后特征的余弦相似度获取相似分数，对相似分数进行排序，选取分数最高的图文作为输出，实现图文检索，一方面，非对称双编码器保留了交叉注意机制，实现了与跨模态编码器一样的高检索性能；另一方面，非对称双编码器独立编码查询和候选特征，这使模型能够克服批量大小限制并挖掘更多信息示例，其中批量大小能够明显地影响编码器的学习，有效地解决纯双编码器模型带来的精度降低以及纯跨模态编码器带来的计算效率过低的问题。