公开(公告)号：CN117932101A

公开(公告)日：2024-04-26

申请号：CN202311207571.8

申请日：2023-09-19

Applicant: 西北工业大学

Inventor： 张顺 ,  李玉鹏 ,  李凌飞 ,  楚遵恒

IPC: G06F16/583 ,  G06F16/55 ,  G06F16/35 ,  G06F40/30 ,  G06N3/048 ,  G06N3/0455 ,  G06N3/088

Abstract: 本发明基于多源多模态的遥感数据协同处理要求，具体分析当前方法忽略了单一模态特征分布特性的缺陷，公开了一种基于单模特征建模的跨模态遥感图文检索方法。具体地，针对遥感图像与文本数据的冗余信息，提出了基于掩码的注意力机制；针对图像区域与文本序列模态内在的语义联系，提出了基于Transformer的关系建模方法；针对目前主流损失函数三元损失仅仅关注跨模态特征间的距离及匹配关系的缺陷，基于遥感领域图像信息量大及其对应的文本描述多样的特性，提出了基于无监督的分类损失函数。本发明的跨模态遥感检索方法能够提高跨模态遥感图文检索的准确性、鲁棒性和实用性。