公开(公告)号：CN109284414B

公开(公告)日：2020-12-04

申请号：CN201811156579.5

申请日：2018-09-30

Applicant: 中国科学院计算技术研究所

Inventor： 王树徽 ,  吴益灵 ,  黄庆明

IPC: G06F16/532 ,  G06F16/33 ,  G06F16/901 ,  G06F40/30

Abstract: 本发明涉及一种基于语义保持的跨模态内容检索方法，包括：以第一模态样本和第二模态样本的特征向量为结点分别构建第一特征图和第二特征图；提取所有样本的标签向量为结点构建语义图；获取每个结点的邻居结点；分别构建用于将第一模态样本和第二模态样本映射为隐含表示的第一映射函数和第二映射函数；对映射函数进行学习，近似最大化每个结点的邻居结点出现的似然，并使得每个隐含表示可以重建对应结点对应的标签信息；以第一映射函数将检索样本映射为检索隐含表示，并以第二映射函数将每个第二模态样本映射为目标隐含表示；获取检索隐含表示与每个目标隐含表示的距离，以所有小于检索阈值的距离对应的第二模态样本为检索结果。

公开(公告)号：CN109284414A

公开(公告)日：2019-01-29

申请号：CN201811156579.5

申请日：2018-09-30

Applicant: 中国科学院计算技术研究所

Inventor： 王树徽 ,  吴益灵 ,  黄庆明

IPC: G06F16/532 ,  G06F16/33 ,  G06F16/901 ,  G06F17/27

Abstract: 本发明涉及一种基于语义保持的跨模态内容检索方法，包括：以第一模态样本和第二模态样本的特征向量为结点分别构建第一特征图和第二特征图；提取所有样本的标签向量为结点构建语义图；获取每个结点的邻居结点；分别构建用于将第一模态样本和第二模态样本映射为隐含表示的第一映射函数和第二映射函数；对映射函数进行学习，近似最大化每个结点的邻居结点出现的似然，并使得每个隐含表示可以重建对应结点对应的标签信息；以第一映射函数将检索样本映射为检索隐含表示，并以第二映射函数将每个第二模态样本映射为目标隐含表示；获取检索隐含表示与每个目标隐含表示的距离，以所有小于检索阈值的距离对应的第二模态样本为检索结果。