公开(公告)号：CN117807259A

公开(公告)日：2024-04-02

申请号：CN202410011592.0

申请日：2024-01-04

Applicant: 东北大学

Inventor： 杨晓春 ,  董日尧 ,  栗源洁 ,  王斌

IPC: G06F16/51 ,  G06F16/53 ,  G06F16/31 ,  G06F16/33 ,  G06F16/35 ,  G06F18/213 ,  G06F18/22 ,  G06V10/44 ,  G06V10/74 ,  G06V10/82 ,  G06V10/764 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/0499 ,  G06N3/09

Abstract: 本发明提供一种基于深度学习技术的跨模态哈希检索方法，涉及跨模态检索技术领域。该方法首先将多模态数据集中的数据划分为查询集和检索集两部分，在检索集中划分训练集；并对多模态数据集中的文本单词进行去噪；对多模态数据集中的图片数据、文本数据、标签数据进行特征提取；并将不同模态的特征向量分别通过各自的哈希层生成哈希码；再计算原始标签的相似度生成浮点型相似性矩阵；然后在考虑模态哈希码分布的情况下对多标签哈希码进行训练；同时使用多标签哈希码监督模态哈希码的训练过程。该方法解决了文本数据存在噪声的问题，采用更准确的衡量数据间相似性的方法，体现数据间的相似性程度。