一种基于三模态对抗网络的图文匹配方法

    公开(公告)号:CN110298395B

    公开(公告)日:2023-04-18

    申请号:CN201910528838.0

    申请日:2019-06-18

    Applicant: 天津大学

    Abstract: 一种基于三模态对抗网络的图文匹配方法,在图文两模态的基础上,将高层图片特征和底层文本特征串联得到融合模态,以融合模态作为第三种模态,依次进行各个模态的分类约束和进行模态两两之间的对抗匹配约束,构成三模态对抗网络。本发明能够有效地进行图文匹配,能够有效提高图文匹配的性能,对于百度,谷歌等搜索引擎公司优化图文互搜精度起到积极作用。同时对于其他模态也有借鉴意义,比如对提高语音文本匹配性能,起到了重要的推动作用。

    一种基于三模态对抗网络的图文匹配方法

    公开(公告)号:CN110298395A

    公开(公告)日:2019-10-01

    申请号:CN201910528838.0

    申请日:2019-06-18

    Applicant: 天津大学

    Abstract: 一种基于三模态对抗网络的图文匹配方法,在图文两模态的基础上,将高层图片特征和底层文本特征串联得到融合模态,以融合模态作为第三种模态,依次进行各个模态的分类约束和进行模态两两之间的对抗匹配约束,构成三模态对抗网络。本发明能够有效地进行图文匹配,能够有效提高图文匹配的性能,对于百度,谷歌等搜索引擎公司优化图文互搜精度起到积极作用。同时对于其他模态也有借鉴意义,比如对提高语音文本匹配性能,起到了重要的推动作用。

Patent Agency Ranking