公开(公告)号：CN119027727A

公开(公告)日：2024-11-26

申请号：CN202411061275.6

申请日：2024-08-03

Applicant: 哈尔滨理工大学

Inventor： 吴海滨 ,  戴诗语 ,  王爱丽 ,  吕浩然 ,  闫思齐 ,  刘鑫宇 ,  孙慧 ,  于双

IPC: G06V10/764 ,  G06V10/80 ,  G06V10/44 ,  G06V10/58 ,  G06V20/10 ,  G06V20/64 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/0455

Abstract: 本发明涉及一种高光谱图像(HSI)与LiDAR数据语义协同的联合分类方法，属于图像分类技术领域。该方法依次执行以下步骤：步骤a：输入待分类的HSI图像和LiDAR数据；步骤b：通过向大型语言模型提出指令，构建类别描述符文本(Text)；步骤c：对HSI和LiDAR进行patch提取，形成训练、验证和测试样本集；步骤d：将HSI、LiDAR数据输入ModaUnion编码器，提取共性特征；步骤e：将HSI、LiDAR共性特征和Text输入混合专家编码器，得到特性特征表示；步骤f：将三个特征表示输入基于集成HSI与Text对比学习和HSI与LiDAR对比学习的联合分类器，进行联合分类训练，得到协同分类结果。本发明充分挖掘HSI、LiDAR及Text表示信息，协同构建了对地物属性更为全面且精细的多维度表征，实现了卓越的协同分类效果。