-
公开(公告)号:CN118587327B
公开(公告)日:2024-10-01
申请号:CN202411070980.2
申请日:2024-08-06
Applicant: 大连理工大学
IPC: G06T11/60 , G06V30/19 , G06V10/82 , G06N3/0475 , G06N3/094
Abstract: 本发明属于图像信息处理技术领域,公开了一种目标跨模态表达辅助的遥感场景文本‑图像生成方法。本方法先利用预训练图像文本联合表达模型的跨模态特征关联能力,为目标图像条件自适应地匹配对应的文本模态表达,通过目标图像到目标文本的跨模态转化避免布局的不确定性对目标信息引入产生的干扰;再将目标文本特征与原文本条件特征进行集成,利用目标信息对文本条件进行修饰与扩充;最后经补充的文本特征作为控制条件引入图像生成流程,对生成图像进行调控。本发明在避免额外布局先验引入的同时,有效实现利用图像目标条件对生成图像中目标局部的针对性增强。
-
公开(公告)号:CN118552823A
公开(公告)日:2024-08-27
申请号:CN202411025648.4
申请日:2024-07-30
Applicant: 大连理工大学
IPC: G06V10/80 , G06V10/82 , G06V10/26 , G06N3/0455 , G06N3/0464
Abstract: 本发明属于图像信息处理技术领域,公开了一种深度特征相关性矩阵的红外和可见光图像融合方法。该红外和可见光图像融合方法对应的融合框架主要由自重构源图像任务、交叉重构源图像任务和分割任务组成;其中,源图像是红外图像和可见图像;自重构源图像任务和交叉重构源图像任务用于约束融合框架获得融合和重构能力;交叉重构源图像任务中引用动态交互融合;分割任务用于提供目标语义特征嵌入到动态交互融合过程,帮助融合特征提供目标语义信息;提出跨任务交互模块构建深度特征相关性矩阵来解决两个不同层级任务在特征融合过程中存在的语义差异问题。本发明能够使得融合特征包含丰富的目标语义信息,进而重构出高质量的融合图像。
-
公开(公告)号:CN118552424A
公开(公告)日:2024-08-27
申请号:CN202411025584.8
申请日:2024-07-30
Applicant: 大连理工大学
Abstract: 本发明属于图像信息处理技术领域,公开了一种像素级‑目标级特征平衡的红外与可见光图像融合方法,设计了层次化交互模块,通过将图像融合和图像分割任务在不同的层次上进行特征交互,来平衡任务之间的信息传递。该层次化交互模块包含两个关键部分:跨像素级细节特征交互模块和跨目标级语义特征交互模块。这两个模块通过不同层次的特征转换和特征交互协同工作,不仅解决了图像融合和图像分割任务之间的特征不匹配问题,而且通过充分利用任务间的互补信息,促进了特征在不同层次上的深入交互。
-
公开(公告)号:CN118587326B
公开(公告)日:2024-10-01
申请号:CN202411070297.9
申请日:2024-08-06
Applicant: 大连理工大学
Abstract: 本发明属于图像信息处理技术领域,公开一种提示解耦的文本到大场景遥感图像生成方法,构建基于背景生成器和目标生成器的两个生成管线,设计关注布局的对抗训练方法提升生成质量,并提出模型提示解耦策略,配合双管线设计处理输入文本,提高了生成图像与输入文本的语义一致性。本发明缓解了现有文本到遥感图像生成研究存在的生成图像的前景和背景的纹理容易混淆、未有效保留遥感目标的结构和纹理等诸多问题。使用本发明提出的解耦生成框架和对应的训练方法,可以生成更为逼真,且输出图像与输入文本语义一致性更高的大尺度场景遥感图像。
-
公开(公告)号:CN118552823B
公开(公告)日:2024-09-24
申请号:CN202411025648.4
申请日:2024-07-30
Applicant: 大连理工大学
IPC: G06V10/80 , G06V10/82 , G06V10/26 , G06N3/0455 , G06N3/0464
Abstract: 本发明属于图像信息处理技术领域,公开了一种深度特征相关性矩阵的红外和可见光图像融合方法。该红外和可见光图像融合方法对应的融合框架主要由自重构源图像任务、交叉重构源图像任务和分割任务组成;其中,源图像是红外图像和可见图像;自重构源图像任务和交叉重构源图像任务用于约束融合框架获得融合和重构能力;交叉重构源图像任务中引用动态交互融合;分割任务用于提供目标语义特征嵌入到动态交互融合过程,帮助融合特征提供目标语义信息;提出跨任务交互模块构建深度特征相关性矩阵来解决两个不同层级任务在特征融合过程中存在的语义差异问题。本发明能够使得融合特征包含丰富的目标语义信息,进而重构出高质量的融合图像。
-
公开(公告)号:CN118552424B
公开(公告)日:2024-09-24
申请号:CN202411025584.8
申请日:2024-07-30
Applicant: 大连理工大学
Abstract: 本发明属于图像信息处理技术领域,公开了一种像素级‑目标级特征平衡的红外与可见光图像融合方法,设计了层次化交互模块,通过将图像融合和图像分割任务在不同的层次上进行特征交互,来平衡任务之间的信息传递。该层次化交互模块包含两个关键部分:跨像素级细节特征交互模块和跨目标级语义特征交互模块。这两个模块通过不同层次的特征转换和特征交互协同工作,不仅解决了图像融合和图像分割任务之间的特征不匹配问题,而且通过充分利用任务间的互补信息,促进了特征在不同层次上的深入交互。
-
公开(公告)号:CN118587326A
公开(公告)日:2024-09-03
申请号:CN202411070297.9
申请日:2024-08-06
Applicant: 大连理工大学
Abstract: 本发明属于图像信息处理技术领域,公开一种提示解耦的文本到大场景遥感图像生成方法,构建基于背景生成器和目标生成器的两个生成管线,设计关注布局的对抗训练方法提升生成质量,并提出模型提示解耦策略,配合双管线设计处理输入文本,提高了生成图像与输入文本的语义一致性。本发明缓解了现有文本到遥感图像生成研究存在的生成图像的前景和背景的纹理容易混淆、未有效保留遥感目标的结构和纹理等诸多问题。使用本发明提出的解耦生成框架和对应的训练方法,可以生成更为逼真,且输出图像与输入文本语义一致性更高的大尺度场景遥感图像。
-
公开(公告)号:CN118570562B
公开(公告)日:2024-09-24
申请号:CN202411045601.4
申请日:2024-08-01
Applicant: 大连理工大学
IPC: G06V10/764 , G06V10/82 , G06V10/74
Abstract: 本发明属于图像信息处理技术领域,公开了一种关系感知度量的跨域少样本遥感目标分类方法,首先,源域训练数据集#imgabs0#被划分为伪支持集#imgabs1#与伪查询集#imgabs2#,使用伪支持集样本与伪查询样本的特征拼接,构建关系感知特征对,在源域特征处理分支内优化模型以形成类内紧凑、类间分散的特征空间。在源域特征处理分支与伪新域特征处理分支间对齐关系感知度量而得到域不变的特征空间,使得跨域少样本遥感目标分类性能提升。本发明提出关系感知度量以比较类内、类间关系。本发明提出了一种通用的语义相似度基准来分配伪标签以优化关系感知度量,克服了以往方法在不同新域下性能下降的缺点。
-
公开(公告)号:CN118587327A
公开(公告)日:2024-09-03
申请号:CN202411070980.2
申请日:2024-08-06
Applicant: 大连理工大学
IPC: G06T11/60 , G06V30/19 , G06V10/82 , G06N3/0475 , G06N3/094
Abstract: 本发明属于图像信息处理技术领域,公开了一种目标跨模态表达辅助的遥感场景文本‑图像生成方法。本方法先利用预训练图像文本联合表达模型的跨模态特征关联能力,为目标图像条件自适应地匹配对应的文本模态表达,通过目标图像到目标文本的跨模态转化避免布局的不确定性对目标信息引入产生的干扰;再将目标文本特征与原文本条件特征进行集成,利用目标信息对文本条件进行修饰与扩充;最后经补充的文本特征作为控制条件引入图像生成流程,对生成图像进行调控。本发明在避免额外布局先验引入的同时,有效实现利用图像目标条件对生成图像中目标局部的针对性增强。
-
公开(公告)号:CN118570562A
公开(公告)日:2024-08-30
申请号:CN202411045601.4
申请日:2024-08-01
Applicant: 大连理工大学
IPC: G06V10/764 , G06V10/82 , G06V10/74
Abstract: 本发明属于图像信息处理技术领域,公开了一种关系感知度量的跨域少样本遥感目标分类方法,首先,源域训练数据集#imgabs0#被划分为伪支持集#imgabs1#与伪查询集#imgabs2#,使用伪支持集样本与伪查询样本的特征拼接,构建关系感知特征对,在源域特征处理分支内优化模型以形成类内紧凑、类间分散的特征空间。在源域特征处理分支与伪新域特征处理分支间对齐关系感知度量而得到域不变的特征空间,使得跨域少样本遥感目标分类性能提升。本发明提出关系感知度量以比较类内、类间关系。本发明提出了一种通用的语义相似度基准来分配伪标签以优化关系感知度量,克服了以往方法在不同新域下性能下降的缺点。
-
-
-
-
-
-
-
-
-