公开(公告)号：CN115421897A

公开(公告)日：2022-12-02

申请号：CN202211381782.9

申请日：2022-11-07

Applicant: 之江实验室

Inventor： 潘秋红 ,  许慧卿 ,  毛旷 ,  汤昭荣 ,  杨弢 ,  杨佳宁 ,  叶茂伟 ,  王颖

IPC: G06F9/48 ,  G06N3/04 ,  G06N3/063

Abstract: 本发明公开了一种面向芯粒的深度神经网络流水线并行调度方法及装置，该方法包括：获取深度神经网络和芯粒拓扑结构；根据所述深度神经网络，构造深度神经网络计算图并对所述深度神经网络计算图进行缩减；根据缩减后的深度神经网络计算图划分流水线组，得到流水线组图；根据所述流水线组图和芯粒拓扑结构，划分流水线并行区域；根据划分后的流水线并行区域和所述芯粒拓扑结构确定深度神经网络流水线并行调度策略；按照所述深度神经网络流水线并行调度策略，将所述深度神经网络部署到芯粒上，执行深度神经网络流水线并行推理。

公开(公告)号：CN115062771B

公开(公告)日：2022-11-25

申请号：CN202210981014.0

申请日：2022-08-16

Applicant: 之江实验室

Inventor： 杨弢 ,  毛旷 ,  潘秋红 ,  汤昭荣 ,  王颖

IPC: G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种分布式机器学习梯度汇聚方法、装置及模型训练方法，利用智能交换机进行计算节点梯度汇聚任务调度和模型训练。智能交换机不仅包含正常的网络交换功能，还能对梯度数据包进行解析，抽取包内数据并进行计算，并将结果重新组包发送给相关计算服务器，提供更为高效的数据交换服务。智能交换机将多台计算服务器连接起来组成训练网络，共同完成神经网络模型训练任务。本发明实现分布式机器学习训练，可优化梯度汇聚时间，减少梯度交换流量，加速大模型训练。