-
公开(公告)号：CN113536016A
公开(公告)日：2021-10-22
申请号：CN202110760740.5
申请日：2021-07-02
Applicant: 江南大学
IPC: G06F16/583 , G06F16/58 , G06F16/33 , G06F16/35 , G06N3/04
Abstract: 本发明公开了一种融合图卷积的跨模态检索方法，属于跨模态检索技术领域。所述方法通过为不同模态构建各自的模态图，图中每个节点代表该模态某一样本的原始特征，并利用图卷积根据近邻关系更新图中的节点特征，同时结合全连接编码特征，得到不同模态高度语义一致的融合编码特征。之后通过公共表征学习层的模态不变损失获得表示一致的公共表征，通过两个子网顶部的线性分类器增强各模态公共表征的语义辨识度，进一步提升了跨模态检索性能；通过在Wikipedia数据集和Pascal Sentence数据集上的实验证明，本申请方法相对于现有技术中性能最优的DSCMR方法，平均mAP值分别提高了2.3％和2.4％。
-
公开(公告)号：CN113536016B
公开(公告)日：2024-09-06
申请号：CN202110760740.5
申请日：2021-07-02
Applicant: 江南大学
IPC: G06F16/583 , G06F16/58 , G06F16/33 , G06F16/35 , G06N3/042 , G06N3/0464 , G06N3/045
Abstract: 本发明公开了一种融合图卷积的跨模态检索方法，属于跨模态检索技术领域。所述方法通过为不同模态构建各自的模态图，图中每个节点代表该模态某一样本的原始特征，并利用图卷积根据近邻关系更新图中的节点特征，同时结合全连接编码特征，得到不同模态高度语义一致的融合编码特征。之后通过公共表征学习层的模态不变损失获得表示一致的公共表征，通过两个子网顶部的线性分类器增强各模态公共表征的语义辨识度，进一步提升了跨模态检索性能；通过在Wikipedia数据集和Pascal Sentence数据集上的实验证明，本申请方法相对于现有技术中性能最优的DSCMR方法，平均mAP值分别提高了2.3％和2.4％。
-
公开(公告)号：CN113536015B
公开(公告)日：2025-04-29
申请号：CN202110754834.1
申请日：2021-07-02
Applicant: 江南大学
IPC: G06F16/583 , G06F16/58 , G06F16/334 , G06F16/353 , G06F16/383 , G06N3/0455 , G06N3/084 , G06N3/09 , G06N3/096 , G06N3/0985
Abstract: 本发明公开了一种基于深度辨识度迁移的跨模态检索方法，属于信息检索技术领域。所述方法在学习不同模态数据公共表示特征的过程中，通过最小化解码向量与文本原始特征间的重建损失增强文本公共表示特征的语义辨识度，同时通过权重共享层的模态不变损失和样本相关性损失将文本公共表示特征的语义高辨识度迁移到图片公共表示特征，从而为各模态数据习得高语义辨识度的公共表示特征，进而提升了检索性能。
-
公开(公告)号：CN113536015A
公开(公告)日：2021-10-22
申请号：CN202110754834.1
申请日：2021-07-02
Applicant: 江南大学
IPC: G06F16/583 , G06F16/58 , G06F16/33 , G06F16/35 , G06N3/04
Abstract: 本发明公开了一种基于深度辨识度迁移的跨模态检索方法，属于信息检索技术领域。所述方法在学习不同模态数据公共表示特征的过程中，通过最小化解码向量与文本原始特征间的重建损失增强文本公共表示特征的语义辨识度，同时通过权重共享层的模态不变损失和样本相关性损失将文本公共表示特征的语义高辨识度迁移到图片公共表示特征，从而为各模态数据习得高语义辨识度的公共表示特征，进而提升了检索性能。
-
-
-
Search Results
4
records
(took 0.013 seconds)
