公开(公告)号：CN114187210B

公开(公告)日：2022-09-06

申请号：CN202210141500.1

申请日：2022-02-16

Applicant: 南通大学

Inventor： 王晗 ,  刘江浩

IPC: G06T5/00 ,  G06T5/50 ,  G06T7/13 ,  G06T7/33 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于可见光‑远红外图像的多模态去浓雾方法，包括如下步骤：步骤1）利用多目摄像机和超声波雾化器采集可见光、远红外图像，并通过图像配准获取视野与分辨率均相同的可见光‑远红外图像组作为“多模态图像‘融合‑迁移’协同去雾网络”的输入；步骤2）构建“多模态图像‘融合‑迁移’协同去雾网络”；步骤3）利用多模态图像数据集作为训练数据，以“多模态图像‘融合‑迁移’协同去雾网络”作为生成器。同时，建立判别器，采用对抗生成网络模型训练、获取“多模态图像‘融合‑迁移’协同去雾网络”的最优网络参数；步骤4）利用训练完毕的“多模态图像‘融合‑迁移’协同去雾网络”对可见光‑远红外多模态图像进行去浓雾处理。本发明能够将多模态图像的特征有效融合，实现模态互补，显著提高浓雾条件下图像去雾的有效性。

公开(公告)号：CN114187210A

公开(公告)日：2022-03-15

申请号：CN202210141500.1

申请日：2022-02-16

Applicant: 南通大学

Inventor： 王晗 ,  刘江浩

IPC: G06T5/00 ,  G06T5/50 ,  G06T7/13 ,  G06T7/33 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于可见光‑远红外图像的多模态去浓雾方法，包括如下步骤：步骤1）利用多目摄像机和超声波雾化器采集可见光、远红外图像，并通过图像配准获取视野与分辨率均相同的可见光‑远红外图像组作为“多模态图像‘融合‑迁移’协同去雾网络”的输入；步骤2）构建“多模态图像‘融合‑迁移’协同去雾网络”；步骤3）利用多模态图像数据集作为训练数据，以“多模态图像‘融合‑迁移’协同去雾网络”作为生成器。同时，建立判别器，采用对抗生成网络模型训练、获取“多模态图像‘融合‑迁移’协同去雾网络”的最优网络参数；步骤4）利用训练完毕的“多模态图像‘融合‑迁移’协同去雾网络”对可见光‑远红外多模态图像进行去浓雾处理。本发明能够将多模态图像的特征有效融合，实现模态互补，显著提高浓雾条件下图像去雾的有效性。