公开(公告)号：CN116894461A

公开(公告)日：2023-10-17

申请号：CN202310935188.8

申请日：2023-07-27

Applicant: 西北农林科技大学

Inventor： 刘斌 ,  高昊元 ,  纪泽宇 ,  张海曦 ,  刘启彤

IPC: G06N3/0464 ,  G06N3/08

Abstract: 本发明提出了一种面向深度学习的去中心化并行梯度下降训练方法和系统，该方法属于深度学习并行化领域，提出了基于历史权重的预训练、管道通信和基于缓冲权重的并行训练相结合的方法，实现了加速分布式系统训练深度神经网络的过程。该方法旨在为分布式深度学习任务提供更高效的训练方式，实现对深度神经网络模型的快速训练。建立基于历史权重的预训练方法，保证了模型收敛的稳定性，使得网络模型在训练过程中更加稳健地收敛于全局最优解。管道通信机制，分解了通信任务，增加了通信的并行粒度，提高了工作节点之间的信息交换效率。利用基于缓冲权重的并行训练方法，实现通信和计算操作的解耦，最大化硬件设备算力资源的利用率。

公开(公告)号：CN118446275A

公开(公告)日：2024-08-06

申请号：CN202410590676.4

申请日：2024-05-13

Applicant: 西北农林科技大学

Inventor： 刘斌 ,  刘增涛 ,  纪泽宇 ,  张海曦 ,  陈毅杰

IPC: G06N3/084 ,  G06N3/0464

Abstract: 本发明公开了一种基于延迟感知的软同步分布式深度学习参数更新方法和系统，它包含软同步更新策略和基于延迟的梯度加权平均算法；首先通过使计算节点在本地多次更新，进行梯度累加，大幅度的减少了工作节点与参数服务器节点之间的通信次数，进而减少了通信开销，同时也有效地利用了工作节点的内存空间。其次，每次在收到部分计算节点的梯度信息，为其生成权重并进行梯度加权平均，之后进行一次全局的模型更新，使得模型的训练朝着某一方向进行收敛，与异步更新相比，收敛方向更加稳定，可以有效缓解由于放宽同步屏障带来的梯度过时问题。

公开(公告)号：CN118445048A

公开(公告)日：2024-08-06

申请号：CN202410590677.9

申请日：2024-05-13

Applicant: 西北农林科技大学

Inventor： 刘斌 ,  胡子健 ,  纪泽宇 ,  张海曦 ,  陈毅杰

IPC: G06F9/48 ,  G06F9/50 ,  G06N5/04

Abstract: 本发明公开了一种面向移动端设备统一内存的深度学习模型异构协同推理方法，属于神经网络技术领域。该方法首先将任务划分给CPU和GPU：令CPU执行数据相关的前处理和后处理过程，并负责协调算法的调度任务；GPU则负责执行具体的推理计算。处理过程中引入多线程和多CUDA流，构建了流水式的异构调度算法。通过重叠数据处理和模型计算时间，有效地提高了GPU的利用率。