公开(公告)号：CN113064959B

公开(公告)日：2022-09-23

申请号：CN202010001846.2

申请日：2020-01-02

Applicant: 南京邮电大学

Inventor： 荆晓远 ,  钱金星 ,  吴飞 ,  董西伟

IPC: G06F16/31 ,  G06F16/953 ,  G06F40/30 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出了一种基于深度自监督排序哈希的跨模态检索方法。包括以下步骤：首先学习一个标签网络用来保留语义特征与其对应的哈希码之间的相似关系。该标签网络可以有效地利用多标签信息来桥接不同模态之间的语义相关性。然后分别对图像和文本设计一个端到端的特征学习网络，进行特征学习。一方面，可以保持标签网络和图像文本网络之间的语义相关性。另一方面，可以使学习到的特征与特定的跨模态检索任务完美兼容。为了解决使用二进制分区函数编码对分区阈值十分敏感的问题，采用基于排序的编码函数。每个维度的相对排序不变，哈希编码的值就不变，这使得哈希函数不会对某些阈值非常敏感，进而获取的哈希编码鲁棒性更好。

公开(公告)号：CN113064959A

公开(公告)日：2021-07-02

申请号：CN202010001846.2

申请日：2020-01-02

Applicant: 南京邮电大学

Inventor： 荆晓远 ,  钱金星 ,  吴飞 ,  董西伟

IPC: G06F16/31 ,  G06F16/953 ,  G06F40/30 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出了一种基于深度自监督排序哈希的跨模态检索方法。包括以下步骤：首先学习一个标签网络用来保留语义特征与其对应的哈希码之间的相似关系。该标签网络可以有效地利用多标签信息来桥接不同模态之间的语义相关性。然后分别对图像和文本设计一个端到端的特征学习网络，进行特征学习。一方面，可以保持标签网络和图像文本网络之间的语义相关性。另一方面，可以使学习到的特征与特定的跨模态检索任务完美兼容。为了解决使用二进制分区函数编码对分区阈值十分敏感的问题，采用基于排序的编码函数。每个维度的相对排序不变，哈希编码的值就不变，这使得哈希函数不会对某些阈值非常敏感，进而获取的哈希编码鲁棒性更好。