公开(公告)号：CN116861021A

公开(公告)日：2023-10-10

申请号：CN202310750571.6

申请日：2023-06-21

Applicant: 华中科技大学

Inventor： 凌贺飞 ,  李南希 ,  李平

IPC: G06F16/583 ,  G06F16/532 ,  G06F18/214 ,  G06F18/22 ,  G06N3/0455 ,  G06N3/0895 ,  G06N3/096

Abstract: 本发明公开了一种基于去噪和动量蒸馏的跨模态检索模型构建方法，属于跨模态检索领域，方法包括：构建包含N个级联的第一模态数据编码器、以及N个级联的第二模态数据编码器的编码单元；在第i个第一、第二模态数据编码器的输出端之间设置第i自监督去噪单元，用于对第i层的原始联合特征标记依次进行加噪、解码重构，得到第i层的重构联合特征标记，i∈(1,N‑1)；进一步构建跨模态检索模型；以重构联合特征标记和原始联合特征标记之间的KL散度最小为目标，构建模态交互损失，以进一步形成总损失函数；以总损失函数收敛为目标，训练跨模态检索模型。加强模态间关联的学习，提高模型检索的准确率，且具有高效的推理速度。