-
公开(公告)号:CN112100410A
公开(公告)日:2020-12-18
申请号:CN202010810819.X
申请日:2020-08-13
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种基于语义条件关联学习的跨模态检索方法及系统,本发明将多标签信息作为一种新的观测模态,并基于深度神经网络将多标签语义关系有效整合到跨模态隐含表示学习框架中。一方面,通过标签语义信息指导各模态的特征学习过程,获得保持语义关系且具有判别力的深度特征表示,提高了跨模态检索的性能。另一方面,利用深度网络挖掘多标签数据中的高层语义,利用条件关联学习方法最大化不同模态特征关于高层语义的典型相关性,可以从各模态数据中消除共享语义信息,建立不同模态间的直接关联关系,从而有效降低噪声标签对跨模态隐含表示的影响。