公开(公告)号：CN119579425A

公开(公告)日：2025-03-07

申请号：CN202411513599.9

申请日：2024-10-28

Applicant: 哈尔滨工业大学

Inventor： 洪晓鹏 ,  孟浩梁 ,  王晨浩 ,  尚苗 ,  左旺孟

IPC: G06T5/50 ,  G06T5/60 ,  G06T5/70 ,  G06T5/77 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/096 ,  G06N3/0985 ,  G06V10/44 ,  G06V10/766 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明提出基于下游计数任务反向优化的多模态图像融合去鬼影方法，所述方法包括：使用扩散融合模型为待融合的每个可见光‑红外图像对合成一张融合图像；通过知识蒸馏，使用融合模态生成模块逼近扩散融合模型的多模态融合能力；在多模态目标计数任务中微调融合模态生成模块；使用微调后的融合模态生成模块重新将可见光‑红外图像对融合为一张融合图像。本发明可将可见光和红外图像合成为一张无鬼影的融合图像，即便在目标密集场景也可良好工作，贴合实际应用场景，合成的融合图像效果优于传统的基于图像配准的去鬼影方法，运算时间也低于传统的去鬼影方法。