公开(公告)号：CN118939860A

公开(公告)日：2024-11-12

申请号：CN202410969012.9

申请日：2024-07-19

Applicant: 哈尔滨工业大学

Inventor： 张力 ,  杨忠生 ,  杨亚虎 ,  姚春丽

IPC: G06F16/9532 ,  G06F16/583 ,  G06F16/335 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/092

Abstract: 本发明公开了一种基于关系增强策略梯度和并行权重控制的跨模态检索方法，所述方法如下：一、针对每个图像输出一组显著区域的特征来表示该图像；二、使用词编码将每个token编码为词向量，将单词序列转化为文本表示；三、使用策略梯度和并行权重控制指导所有图像区域特征在最终图像全局特征中的权重大小，得到图像全局特征；四、使用策略梯度和并行权重控制指导所有文本单词特征在最终文本全局特征中的权重大小，得到文本全局特征；五、利用图像全局特征和文本全局特征执行相似性匹配，采用带有难负样本挖掘的铰链损失进行监督，利用离散连续策略梯度的优化目标对图像区域特征和文本单词特征的权重进行监督。本发明可以很好地进行跨模态检索。