一种卷积循环神经网络混合分布式并行训练方法及系统

    公开(公告)号:CN117313823B

    公开(公告)日:2024-04-12

    申请号:CN202311594605.3

    申请日:2023-11-28

    Abstract: 本发明提出一种卷积循环神经网络混合分布式并行训练方法及系统,属于气象预报技术领域;获取雷达回波灰度图像数据集并预处理为图像时间序列数据;划分为训练集、验证集和测试集;在流水线并行改造过程中,通过Oneflow框架提供的全局张量,结合Pytorch的通信原语,实现张量转移封装;将卷积循环神经网络划分为多个均匀的流水线阶段,每个阶段的流水线管理各自子模型的隐状态张量和前向传播过程;设计外层模型,处理前向传播过程中在序列维度上的循环结构,实现通用的流水线模型结构;在流水线并行的基础上,通过改写数据集采样器的数据分发逻辑实现数据并行;调整梯度缩放因子,利用自动混合精度避免梯度上溢;通过设置激活值检查点,降低显存占用。

    雷暴大风的识别模型建立方法、识别方法及计算设备

    公开(公告)号:CN116106856A

    公开(公告)日:2023-05-12

    申请号:CN202310392594.4

    申请日:2023-04-13

    Abstract: 本发明提供了一种雷暴大风的识别模型建立方法、识别方法及计算设备,涉及图像识别领域,方法包括根据雷达回波图像构建训练集;对训练集中的雷达回波图像进行标准化,获得标准化数据;将标准化数据中雷达回波强度真实值与训练过程中输出的预报值的平均值之间的误差作为初始模型中损失函数的参数;根据损失函数生成的损失值,对初始模型进行多次迭代,得到雷暴大风识别模型;初始模型包括时空卷积神经网络模型、CBAM注意力机制以及多尺度残差网络模型。利用雷暴大风识别模型在时空两个维度都进行卷积循环操作,增强重要特征,抑制不必要特征,从而实现增加图像的表征力,充分利用雷达回波数据的信息,提高识别雷暴大风的准确率。

    一种遥感图像云检测方法、装置、计算机装置及存储介质

    公开(公告)号:CN115359370B

    公开(公告)日:2023-01-24

    申请号:CN202211290200.6

    申请日:2022-10-21

    Abstract: 本发明提供一种遥感图像云检测方法、装置、计算机装置及存储介质,涉及图像处理和深度学习领域,所述方法包括:获取遥感图像,对遥感图像进行云及云掩膜标注,得到数据集;对数据集进行预处理,得到用于云检测网络模型训练的训练集;将训练集输入云检测网络模型并进行训练,获得数据模型;根据数据集获得预测集,并将预测集作为数据模型的输入进行测试,获得云检测结果。通过结合多尺度空间注意力和通道注意力机制的方式有效提高云检测质量,在具有大量包含丰富信息的通道的遥感图像上取得了显著的性能提升,通过特征融合模块在高维空间构造了复杂的线性组合,使模型学习得到有效的融合方式,从而实现高质量的云检测效果。

    一种雷达回波外推方法、装置及存储介质

    公开(公告)号:CN114460555B

    公开(公告)日:2022-08-23

    申请号:CN202210363210.1

    申请日:2022-04-08

    Abstract: 本发明提供了一种雷达回波外推方法、装置及存储介质,方法包括:获取指定区域当前时刻的当前雷达回波图和当前卫星云图,以及过去一段时间的历史雷达回波图和历史卫星云图;采用第一IIA‑GRU编码器对所述当前雷达回波图和所述历史雷达回波图进行编码处理,获得第一编码图像;采用第二IIA‑GRU编码器对所述当前卫星云图和所述历史卫星云图进行编码处理,获得第二编码图像;基于融合门控机制对所述第一编码图像和所述第二编码图像进行融合,并采用IIA‑GRU解码器对融合结果进行解码,获得所述指定区域未来一段时间内的雷达回波图像。本发明的技术方案提高了长序列雷达回波的预测准确性。

    一种卷积循环神经网络混合分布式并行训练方法及系统

    公开(公告)号:CN117313823A

    公开(公告)日:2023-12-29

    申请号:CN202311594605.3

    申请日:2023-11-28

    Abstract: 本发明提出一种卷积循环神经网络混合分布式并行训练方法及系统,属于气象预报技术领域;获取雷达回波灰度图像数据集并预处理为图像时间序列数据;划分为训练集、验证集和测试集;在流水线并行改造过程中,通过Oneflow框架提供的全局张量,结合Pytorch的通信原语,实现张量转移封装;将卷积循环神经网络划分为多个均匀的流水线阶段,每个阶段的流水线管理各自子模型的隐状态张量和前向传播过程;设计外层模型,处理前向传播过程中在序列维度上的循环结构,实现通用的流水线模型结构;在流水线并行的基础上,通过改写数据集采样器的数据分发逻辑实现数据并行;调整梯度缩放因子,利用自动混合精度避免梯度上溢;通过设置激活值检查点,降低显存占用。

    雷暴大风的识别模型建立方法、识别方法及计算设备

    公开(公告)号:CN116106856B

    公开(公告)日:2023-08-18

    申请号:CN202310392594.4

    申请日:2023-04-13

    Abstract: 本发明提供了一种雷暴大风的识别模型建立方法、识别方法及计算设备,涉及图像识别领域,方法包括根据雷达回波图像构建训练集;对训练集中的雷达回波图像进行标准化,获得标准化数据;将标准化数据中雷达回波强度真实值与训练过程中输出的预报值的平均值之间的误差作为初始模型中损失函数的参数;根据损失函数生成的损失值,对初始模型进行多次迭代,得到雷暴大风识别模型;初始模型包括时空卷积神经网络模型、CBAM注意力机制以及多尺度残差网络模型。利用雷暴大风识别模型在时空两个维度都进行卷积循环操作,增强重要特征,抑制不必要特征,从而实现增加图像的表征力,充分利用雷达回波数据的信息,提高识别雷暴大风的准确率。

    一种遥感图像云检测方法、装置、计算机装置及存储介质

    公开(公告)号:CN115359370A

    公开(公告)日:2022-11-18

    申请号:CN202211290200.6

    申请日:2022-10-21

    Abstract: 本发明提供一种遥感图像云检测方法、装置、计算机装置及存储介质,涉及图像处理和深度学习领域,所述方法包括:获取遥感图像,对遥感图像进行云及云掩膜标注,得到数据集;对数据集进行预处理,得到用于云检测网络模型训练的训练集;将训练集输入云检测网络模型并进行训练,获得数据模型;根据数据集获得预测集,并将预测集作为数据模型的输入进行测试,获得云检测结果。通过结合多尺度空间注意力和通道注意力机制的方式有效提高云检测质量,在具有大量包含丰富信息的通道的遥感图像上取得了显著的性能提升,通过特征融合模块在高维空间构造了复杂的线性组合,使模型学习得到有效的融合方式,从而实现高质量的云检测效果。

Patent Agency Ranking