公开(公告)号：CN118446275A

公开(公告)日：2024-08-06

申请号：CN202410590676.4

申请日：2024-05-13

Applicant: 西北农林科技大学

Inventor： 刘斌 ,  刘增涛 ,  纪泽宇 ,  张海曦 ,  陈毅杰

IPC: G06N3/084 ,  G06N3/0464

Abstract: 本发明公开了一种基于延迟感知的软同步分布式深度学习参数更新方法和系统，它包含软同步更新策略和基于延迟的梯度加权平均算法；首先通过使计算节点在本地多次更新，进行梯度累加，大幅度的减少了工作节点与参数服务器节点之间的通信次数，进而减少了通信开销，同时也有效地利用了工作节点的内存空间。其次，每次在收到部分计算节点的梯度信息，为其生成权重并进行梯度加权平均，之后进行一次全局的模型更新，使得模型的训练朝着某一方向进行收敛，与异步更新相比，收敛方向更加稳定，可以有效缓解由于放宽同步屏障带来的梯度过时问题。

公开(公告)号：CN118445048A

公开(公告)日：2024-08-06

申请号：CN202410590677.9

申请日：2024-05-13

Applicant: 西北农林科技大学

Inventor： 刘斌 ,  胡子健 ,  纪泽宇 ,  张海曦 ,  陈毅杰

IPC: G06F9/48 ,  G06F9/50 ,  G06N5/04

Abstract: 本发明公开了一种面向移动端设备统一内存的深度学习模型异构协同推理方法，属于神经网络技术领域。该方法首先将任务划分给CPU和GPU：令CPU执行数据相关的前处理和后处理过程，并负责协调算法的调度任务；GPU则负责执行具体的推理计算。处理过程中引入多线程和多CUDA流，构建了流水式的异构调度算法。通过重叠数据处理和模型计算时间，有效地提高了GPU的利用率。