公开(公告)号：CN116402720A

公开(公告)日：2023-07-07

申请号：CN202310396874.2

申请日：2023-04-14

Applicant: 福州大学

Inventor： 陈羽中 ,  林闽沪 ,  牛玉贞

IPC: G06T5/00 ,  G06V10/774 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及一种基于反向去雨过程引导的图像雨滴去除方法。包括以下步骤：步骤S1、进行数据预处理，包括数据配对、数据随机裁切、数据增强处理，得到训练数据集；步骤S2、设计多重注意力模块，采用像素注意力、通道注意力和空间注意力提取图像特征；步骤S3、设计基于多重注意力模块的U形编码器解码器网络，用于提取图像不同尺度下的特征；步骤S4、设计图像特征融合模块，该模块融合图像特征和原始图像，得到融合后的恢复图像；步骤S5、设计正向雨滴去除网络和反向雨滴去除网络，利用反向雨滴去除网络引导训练正向雨滴去除网络；步骤S6、将附着雨滴图像输入训练好的正向雨滴去除网络，输出去除雨滴的干净图像。

公开(公告)号：CN116402720B

公开(公告)日：2025-05-13

申请号：CN202310396874.2

申请日：2023-04-14

Applicant: 福州大学

Inventor： 陈羽中 ,  林闽沪 ,  牛玉贞

IPC: G06T5/73 ,  G06V10/774 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及一种基于反向去雨过程引导的图像雨滴去除方法。包括以下步骤：步骤S1、进行数据预处理，包括数据配对、数据随机裁切、数据增强处理，得到训练数据集；步骤S2、设计多重注意力模块，采用像素注意力、通道注意力和空间注意力提取图像特征；步骤S3、设计基于多重注意力模块的U形编码器解码器网络，用于提取图像不同尺度下的特征；步骤S4、设计图像特征融合模块，该模块融合图像特征和原始图像，得到融合后的恢复图像；步骤S5、设计正向雨滴去除网络和反向雨滴去除网络，利用反向雨滴去除网络引导训练正向雨滴去除网络；步骤S6、将附着雨滴图像输入训练好的正向雨滴去除网络，输出去除雨滴的干净图像。

公开(公告)号：CN113658074B

公开(公告)日：2023-07-28

申请号：CN202110938534.9

申请日：2021-08-16

Applicant: 福州大学

Inventor： 牛玉贞 ,  陈锋 ,  林闽沪

IPC: G06T5/00 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/084

Abstract: 本发明提出基于LAB颜色空间多尺度融合网络的单幅图像雨滴去除方法，包括以下步骤；步骤A：根据同场景下的原始附着雨滴退化状态和干净状态生成训练图像对，针对训练图像对进行颜色空间变换，得到对应LAB颜色空间的训练图像对；步骤B：对训练图像对进行预处理，得到LAB颜色空间的图像块数据集；步骤C：基于图像对在LAB颜色空间上的特性，利用多尺度学习策略设计单幅图像雨滴去除的卷积神经网络；步骤D：设计目标损失函数loss，以图像块数据集为训练数据，利用反向传播方法计算卷积神经网络中各参数的梯度，利用随机梯度下降方法更新参数；步骤E：以图像雨滴去除网络生成雨滴去除之后的图像，恢复至RGB颜色空间；本发明能显著提高图像雨滴去除的性能。

公开(公告)号：CN115205544A

公开(公告)日：2022-10-18

申请号：CN202210886196.3

申请日：2022-07-26

Applicant: 福州大学

Inventor： 牛玉贞 ,  郑路伟 ,  林闽沪

IPC: G06V10/44 ,  G06N3/04 ,  G06N3/08 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明涉及一种基于前景参考图像的合成图像和谐化方法及系统，该方法包括：利用原始合成图像的前景掩膜及目标检测预训练模型对原始合成图像进行处理，得到前景图像的参考图像，并对真实标签图像、原始合成图像和参考图像进行图像预处理，得到训练集；构建基于前景参考图像的双分支合成图像和谐化网络，该网络由三个部分组成，分别为背景特征提取融合模块、前景参考图像特征提取融合模块和双分支特征融合微调模块；构建合成图像和谐化网络的目标损失函数；使用训练集图像训练所述合成图像和谐化网络；将新的合成图像进行前景参考图像提取，然后输入训练好的合成图像和谐化模型，输出经过和谐化的图像。该方法及系统有利于提高合成图像和谐化质量。

公开(公告)号：CN113658074A

公开(公告)日：2021-11-16

申请号：CN202110938534.9

申请日：2021-08-16

Applicant: 福州大学

Inventor： 牛玉贞 ,  陈锋 ,  林闽沪

IPC: G06T5/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出基于LAB颜色空间多尺度融合网络的单幅图像雨滴去除方法，包括以下步骤；步骤A：根据同场景下的原始附着雨滴退化状态和干净状态生成训练图像对，针对训练图像对进行颜色空间变换，得到对应LAB颜色空间的训练图像对；步骤B：对训练图像对进行预处理，得到LAB颜色空间的图像块数据集；步骤C：基于图像对在LAB颜色空间上的特性，利用多尺度学习策略设计单幅图像雨滴去除的卷积神经网络；步骤D：设计目标损失函数loss，以图像块数据集为训练数据，利用反向传播方法计算卷积神经网络中各参数的梯度，利用随机梯度下降方法更新参数；步骤E：以图像雨滴去除网络生成雨滴去除之后的图像，恢复至RGB颜色空间；本发明能显著提高图像雨滴去除的性能。