公开(公告)号：CN118277451A

公开(公告)日：2024-07-02

申请号：CN202410435592.3

申请日：2024-04-11

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 张正 ,  罗浩洋 ,  吴清鹏

IPC: G06F16/2458 ,  G06F16/245 ,  G06F16/22 ,  G06F18/214 ,  G06F18/22 ,  G06F18/24 ,  G06V10/764 ,  G06N3/048 ,  G06N3/0895

Abstract: 本申请公开了一种应对不完备数据的跨模态哈希模型的训练方法及检索方法，所述训练方法利用不完备数据相关性，通过协调不同模态的模态哈希码和通过可学习的中间代码模型学习到的模态语义一致的哈希码来不对称地学习语义相关性。同时，通过语义标签来校准被破坏的跨模态相似度分布，并使用关系传播策略在恢复的样本上构造稳定的相似度，以及通过双重学习策略对齐和恢复模态表示，从而传递最大的模态公共信息，同时为了信息表示的传递和恢复而吸收跨模态上下文知识，进而可以实现高效的不完备跨模态检索。

公开(公告)号：CN118245524A

公开(公告)日：2024-06-25

申请号：CN202410435587.2

申请日：2024-04-11

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 张正 ,  罗浩洋 ,  吴清鹏

IPC: G06F16/2458 ,  G06F16/245 ,  G06F16/22 ,  G06F18/2431 ,  G06F18/214 ,  G06F18/22 ,  G06V10/764 ,  G06N3/048 ,  G06N3/0895

Abstract: 本申请公开了一种应对标签部分缺失的跨模态哈希模型的训练及检索方法，所述训练方法通过构造可学习的预设标签提示符来提示标签的完整性，通过预设标签提示符和跨模态训练样本的不完备标签构建标签提示向量，然后通过标签提示向量的完备分数来对预设标签提示符进行学习，最后基于学习得到的目标标签提示符对跨模态训练样本的不完备标签进行恢复，以有效地感知缺失标签，降低了不完备标签对跨模态哈希模型的影响，提高跨模态哈希模型的模型性能。同时，通过互补语义传播和自适应负配对策略减少未知对以平衡正‑负对分布，从而可以进一步提高跨模态哈希模型的模型性能。