公开(公告)号：CN118628357A

公开(公告)日：2024-09-10

申请号：CN202410803466.9

申请日：2024-06-20

Applicant: 北京卫星信息工程研究所

Inventor： 梁颖 ,  刘斌霄 ,  焦典 ,  陈元伟 ,  纪骁宵 ,  宿南 ,  闫奕名 ,  贺广均 ,  符晗

IPC: G06T3/4076 ,  G06V10/58 ,  G06V10/44 ,  G06N3/0464 ,  G06N3/0455 ,  G06V10/82 ,  G06V10/80

Abstract: 本发明涉及一种基于transformer的跨模态融合高光谱图像超分重建方法，包括：基于场景匹配的RGB图像和高光谱图像，获得融合token序列；采用随机掩膜机制对视觉transformer的编码器和解码器进行联合训练，完成特征重构；步骤S3、构建基于解码器重构的图像与真值图像的相似度的损失函数，对视觉transformer的编码器和解码器进行优化；利用图像重建模块对优化后的视觉transformer的编码器提取的特征进行超分重建。本发明，降低了高光谱图像超分重建的对于数据强配准的要求，扩展了该技术的应用场景，同时空间分辨率提升后的高光谱数据有利于优化下游任务算法的性能，从增强数据的角度降低模型的设计难度，使高光谱数据能够适配于更多的遥感领域任务。