公开(公告)号：CN116503753A

公开(公告)日：2023-07-28

申请号：CN202310476470.4

申请日：2023-04-28

Applicant: 重庆邮电大学

Inventor： 宋铁成 ,  郑红宇 ,  谢林男 ,  马欣冉 ,  吴梦怡 ,  季薇

IPC: G06V20/13 ,  G06V10/774 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/08

Abstract: 本发明属于遥感图像分类识别领域，具体涉及一种基于多模态空域变换网络的遥感图像场景分类方法，包括：利用预训练网络获得多层特征；将不同层级的特征进行循环式自适应空间变换，其结果与下一层特征相融合以输出判别性特征；通过GloVe模型与自注意力机制来提取类名的语义信息，将其用于加权循环空域变换模块的输出特征；建立图像、文本的分类损失以及相似度损失，实现整个网络的优化，通过优化后的网络进行分类识别。本发明通过将图像的多层特征与图像类别的语义信息融合的方式，有效利用多模态信息以及探索模态之间的内在相关性来实现有效的语义对齐。