-
公开(公告)号：CN111460201B
公开(公告)日：2022-09-23
申请号：CN202010143786.8
申请日：2020-03-04
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于生成性对抗网络的模态一致性跨模态检索方法，包括以下步骤：首先利用生成性对抗网络强大的数据分布建模能力，将文本特征映射到图像特征空间，用这种方法将跨模态检索问题转换为单模态检索问题，尽可能多地保留图像语义信息的同时减小模态的异质性。其次，设计了一个模态一致性哈希网络，将真实的图像特征和通过生成性对抗网络生成的特征投影到汉明空间中，并且利用标签信息对模态间和模态内的相似性进行建模，使得输出的哈希码在模态间和模态内具有更好的语义区分性，获得更具判别性的哈希码。最后在两个常用的基准数据集上的实验结果表明本方法与现有的流行方法相比具有更好的跨模态检索性能。
-
公开(公告)号：CN111460201A
公开(公告)日：2020-07-28
申请号：CN202010143786.8
申请日：2020-03-04
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于生成性对抗网络的模态一致性跨模态检索方法，包括以下步骤：首先利用生成性对抗网络强大的数据分布建模能力，将文本特征映射到图像特征空间，用这种方法将跨模态检索问题转换为单模态检索问题，尽可能多地保留图像语义信息的同时减小模态的异质性。其次，设计了一个模态一致性哈希网络，将真实的图像特征和通过生成性对抗网络生成的特征投影到汉明空间中，并且利用标签信息对模态间和模态内的相似性进行建模，使得输出的哈希码在模态间和模态内具有更好的语义区分性，获得更具判别性的哈希码。最后在两个常用的基准数据集上的实验结果表明本方法与现有的流行方法相比具有更好的跨模态检索性能。
-
Search Results
2
records
(took 0.02 seconds)
