提示解耦的文本到大场景遥感图像生成方法

    公开(公告)号:CN118587326B

    公开(公告)日:2024-10-01

    申请号:CN202411070297.9

    申请日:2024-08-06

    Abstract: 本发明属于图像信息处理技术领域,公开一种提示解耦的文本到大场景遥感图像生成方法,构建基于背景生成器和目标生成器的两个生成管线,设计关注布局的对抗训练方法提升生成质量,并提出模型提示解耦策略,配合双管线设计处理输入文本,提高了生成图像与输入文本的语义一致性。本发明缓解了现有文本到遥感图像生成研究存在的生成图像的前景和背景的纹理容易混淆、未有效保留遥感目标的结构和纹理等诸多问题。使用本发明提出的解耦生成框架和对应的训练方法,可以生成更为逼真,且输出图像与输入文本语义一致性更高的大尺度场景遥感图像。

    深度特征相关性矩阵的红外和可见光图像融合方法

    公开(公告)号:CN118552823B

    公开(公告)日:2024-09-24

    申请号:CN202411025648.4

    申请日:2024-07-30

    Abstract: 本发明属于图像信息处理技术领域,公开了一种深度特征相关性矩阵的红外和可见光图像融合方法。该红外和可见光图像融合方法对应的融合框架主要由自重构源图像任务、交叉重构源图像任务和分割任务组成;其中,源图像是红外图像和可见图像;自重构源图像任务和交叉重构源图像任务用于约束融合框架获得融合和重构能力;交叉重构源图像任务中引用动态交互融合;分割任务用于提供目标语义特征嵌入到动态交互融合过程,帮助融合特征提供目标语义信息;提出跨任务交互模块构建深度特征相关性矩阵来解决两个不同层级任务在特征融合过程中存在的语义差异问题。本发明能够使得融合特征包含丰富的目标语义信息,进而重构出高质量的融合图像。

    通过熵最大化进行风格词多样化以实现域泛化的方法

    公开(公告)号:CN118587723A

    公开(公告)日:2024-09-03

    申请号:CN202411069095.2

    申请日:2024-08-06

    Abstract: 本发明属于计算机视觉图像处理技术领域,公开一种通过熵最大化进行风格词多样化以实现域泛化的方法,分为两个阶段,第一阶段学习风格词,产生多样化风格词提示;第二阶段利用生成的多样化风格词提示作为CLIP文本编码器的输入,在特征空间内模拟视觉特征的多样性,引导图像编码器学习域不变特征,实现遥感目标识别的域泛化。本发明利用预训练的CLIP模型帮助分类网络在仅使用一个源域数据的情况下学习域不变特征。在第一阶段通过风格多样性约束和熵最大化约束生成包含多种风格的风格词提示;在第二阶段利用风格词提示在特征空间内模拟视觉特征的多样性,降低了分类网络对多样化图像数据的依赖性,提高了分类网络的域泛化性能。

    提示解耦的文本到大场景遥感图像生成方法

    公开(公告)号:CN118587326A

    公开(公告)日:2024-09-03

    申请号:CN202411070297.9

    申请日:2024-08-06

    Abstract: 本发明属于图像信息处理技术领域,公开一种提示解耦的文本到大场景遥感图像生成方法,构建基于背景生成器和目标生成器的两个生成管线,设计关注布局的对抗训练方法提升生成质量,并提出模型提示解耦策略,配合双管线设计处理输入文本,提高了生成图像与输入文本的语义一致性。本发明缓解了现有文本到遥感图像生成研究存在的生成图像的前景和背景的纹理容易混淆、未有效保留遥感目标的结构和纹理等诸多问题。使用本发明提出的解耦生成框架和对应的训练方法,可以生成更为逼真,且输出图像与输入文本语义一致性更高的大尺度场景遥感图像。

    一种多样性提示学习的少样本遥感目标识别泛化性的方法

    公开(公告)号:CN118097442B

    公开(公告)日:2024-07-05

    申请号:CN202410523937.0

    申请日:2024-04-29

    Abstract: 本发明属于计算机视觉图像处理技术领域,一种多样性提示学习的少样本遥感目标识别泛化性的方法。用图像文本多模态的方式进行训练,将多个含有可学习的提示的文本向量输入参数固定的文本编码器得到文本特征,将图像输入到参数固定的图像编码器得到图像特征,用分类损失和风格多样性损失更新提示参数,直至DPL模型收敛。本发明在原CLIP模型的改进模型CoOp的基础上,增加多个不同的提示来提高文本风格描述的多样性。为使风格描述间互相远离,提出风格多样性损失,用使提示特征两两正交的方式使提示特征相互远离,从而提升模型的泛化性。为了使文本风格描述不偏离原始图像类别信息,用分类损失加以约束。本发明的方法提升了少样本遥感图像识别的泛化性。

    动态关系蒸馏的长尾遥感图像目标识别方法

    公开(公告)号:CN115272881A

    公开(公告)日:2022-11-01

    申请号:CN202210920420.6

    申请日:2022-08-02

    Abstract: 本发明属于图像信息处理技术领域,提供了一种动态关系蒸馏的长尾遥感图像目标识别方法。使用两个教师网络和一个学生网络来实现,三个网络结构相同。两个教师模型分别学习头部类和尾部类的各自的特征分布,以避免因为数据集分布不平衡导致的网络学习的倾斜问题,学生网络则通过学习两个教师网络的分类能力,从而在整个数据集上有较好的性能,提高分类的准确度。本发明的动态关系蒸馏学习方法,利用蒸馏思想,将教师网络更好的特征表达能力通过中心特征蒸馏给学生,同时学生网络动态更新中心特征,以学习到更好的特征提取能力。本发明利用长尾数据的特点,来改善因长尾问题导致的图像分类能力倾向于头部类的问题,能够提高网络分类的准确度。

    一种基于目标检测的遥感图像变形下采样方法

    公开(公告)号:CN117952824B

    公开(公告)日:2024-06-25

    申请号:CN202410348970.4

    申请日:2024-03-26

    Abstract: 本发明属于深度学习技术领域,公开了一种基于目标检测的遥感图像变形下采样方法,提出一种混合高斯变形模块,用于生成变形下采样的遥感图像;根据混合高斯变形模块与下游的相关性,将高分辨率图像自适应为变形的低分辨率图像目标检测任务;混合高斯变形模块由高斯密度网络、变形下采样网格生成网络和可变形采样器三部分组成。本发明研究了大尺度高分辨率图像遥感目标检测的速度和准确度相平衡的问题,并提出一种有效的旨在减少计算负荷的同时提高检测性能的方法。本发明通过该方法推动深度学习技术在遥感目标检测领域的效率问题处理上取得突破性进展。

Patent Agency Ranking