-
公开(公告)号:CN118245524A
公开(公告)日:2024-06-25
申请号:CN202410435587.2
申请日:2024-04-11
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F16/2458 , G06F16/245 , G06F16/22 , G06F18/2431 , G06F18/214 , G06F18/22 , G06V10/764 , G06N3/048 , G06N3/0895
Abstract: 本申请公开了一种应对标签部分缺失的跨模态哈希模型的训练及检索方法,所述训练方法通过构造可学习的预设标签提示符来提示标签的完整性,通过预设标签提示符和跨模态训练样本的不完备标签构建标签提示向量,然后通过标签提示向量的完备分数来对预设标签提示符进行学习,最后基于学习得到的目标标签提示符对跨模态训练样本的不完备标签进行恢复,以有效地感知缺失标签,降低了不完备标签对跨模态哈希模型的影响,提高跨模态哈希模型的模型性能。同时,通过互补语义传播和自适应负配对策略减少未知对以平衡正‑负对分布,从而可以进一步提高跨模态哈希模型的模型性能。
-
公开(公告)号:CN118277451A
公开(公告)日:2024-07-02
申请号:CN202410435592.3
申请日:2024-04-11
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F16/2458 , G06F16/245 , G06F16/22 , G06F18/214 , G06F18/22 , G06F18/24 , G06V10/764 , G06N3/048 , G06N3/0895
Abstract: 本申请公开了一种应对不完备数据的跨模态哈希模型的训练方法及检索方法,所述训练方法利用不完备数据相关性,通过协调不同模态的模态哈希码和通过可学习的中间代码模型学习到的模态语义一致的哈希码来不对称地学习语义相关性。同时,通过语义标签来校准被破坏的跨模态相似度分布,并使用关系传播策略在恢复的样本上构造稳定的相似度,以及通过双重学习策略对齐和恢复模态表示,从而传递最大的模态公共信息,同时为了信息表示的传递和恢复而吸收跨模态上下文知识,进而可以实现高效的不完备跨模态检索。
-
公开(公告)号:CN113961727A
公开(公告)日:2022-01-21
申请号:CN202111067916.5
申请日:2021-09-13
Applicant: 哈尔滨工业大学(深圳)
IPC: G06F16/41 , G06F16/45 , G06F16/901 , G06F16/906
Abstract: 本发明公开了一种跨媒体哈希检索方法、装置、终端及存储介质,方法包括:在样本数据集中选取至少一个样本数据组,得到目标训练批次;确定目标样本数据组对应的样本哈希特征;确定目标样本数据组对应的预测标签向量;根据目标样本数据组对应的样本标签向量获取目标样本数据组对应的标签哈希特征;根据样本哈希特征、标签哈希特征、样本标签向量、以及预测标签向量确定训练损失,根据训练损失对第一特征哈希学习网络和第二特征哈希学习网络的参数进行更新;采用参数收敛后的第一特征哈希学习网络确定第一媒体类型的数据的哈希码,采用参数收敛后的第二特征哈希学习网络确定第二媒体类型的数据的哈希码。本发明能够提升跨媒体哈希检索的准确性。
-
公开(公告)号:CN113961727B
公开(公告)日:2022-10-21
申请号:CN202111067916.5
申请日:2021-09-13
Applicant: 哈尔滨工业大学(深圳)
IPC: G06F16/41 , G06F16/45 , G06F16/901 , G06F16/906
Abstract: 本发明公开了一种跨媒体哈希检索方法、装置、终端及存储介质,方法包括:在样本数据集中选取至少一个样本数据组,得到目标训练批次;确定目标样本数据组对应的样本哈希特征;确定目标样本数据组对应的预测标签向量;根据目标样本数据组对应的样本标签向量获取目标样本数据组对应的标签哈希特征;根据样本哈希特征、标签哈希特征、样本标签向量、以及预测标签向量确定训练损失,根据训练损失对第一特征哈希学习网络和第二特征哈希学习网络的参数进行更新;采用参数收敛后的第一特征哈希学习网络确定第一媒体类型的数据的哈希码,采用参数收敛后的第二特征哈希学习网络确定第二媒体类型的数据的哈希码。本发明能够提升跨媒体哈希检索的准确性。
-
-
-