一种基于对象感知和上下文对比学习的LVM引导的红外和可见光图像融合方法

    公开(公告)号:CN119784604A

    公开(公告)日:2025-04-08

    申请号:CN202411868427.3

    申请日:2024-12-18

    Applicant: 江南大学

    Abstract: 一种基于对象感知和上下文对比学习的LVM引导的红外和可见光图像融合方法,属于图像融合处理技术领域。本发明构建特征交互融合网络并设计特征交互融合块,在突出显示特定于模态的对象的同时,保留全局空间信息。提出SAM引导掩码生成器,利用文本驱动的目标检测模型获取完整的检测框,并用作SAM中的框提示符。对于具有内容信息的多模态任务中的对比学习,构建上下文空间来计算样本之间的距离。为了向上下文空间提供更具内聚性的样本,设计特征交互融合网络,战略性地优先考虑关键特征,同时捕获复杂的模态间关系,通过特征交互融合块突出显示与上下文相关的信息。本发明能在巩固融合图像中突出对象的完整性的同时,也保留场景信息。

Patent Agency Ranking