公开(公告)号：CN112154462B

公开(公告)日：2025-01-17

申请号：CN201980033991.4

申请日：2019-05-07

Applicant: 微软技术许可有限责任公司

Inventor： V·塞沙德利 ,  A·费尼沙耶 ,  D·纳拉亚南 ,  A·哈拉普 ,  N·D·兰格拉詹

IPC: G06N3/063 ,  G06N3/0464 ,  G06N3/08

Abstract: 使用DNN的简档将深度神经网络(DNN)的层划分为多个阶段。阶段中的每个阶段包括DNN的层中的一个或多个层。将DNN的层划分为多个阶段以各种方式被优化，包括优化划分以最小化训练时间，最小化用于训练DNN的工作者计算设备之间的数据通信，或确保工作者计算设备执行大致相等量的处理来训练DNN。阶段被分配给工作者计算设备。工作者计算设备使用调度策略来处理训练数据的批次，该调度策略使得工作者在DNN训练数据的批次的前向处理与DNN训练数据的批次的后向处理之间交替。这些阶段可以被配置成用于模型并行处理或数据并行处理。

公开(公告)号：CN112154462A

公开(公告)日：2020-12-29

申请号：CN201980033991.4

申请日：2019-05-07

Applicant: 微软技术许可有限责任公司

Inventor： V·塞沙德利 ,  A·费尼沙耶 ,  D·纳拉亚南 ,  A·哈拉普 ,  N·D·兰格拉詹

IPC: G06N3/063 ,  G06N3/08

Abstract: 使用DNN的简档将深度神经网络(DNN)的层划分为多个阶段。阶段中的每个阶段包括DNN的层中的一个或多个层。将DNN的层划分为多个阶段以各种方式被优化，包括优化划分以最小化训练时间，最小化用于训练DNN的工作者计算设备之间的数据通信，或确保工作者计算设备执行大致相等量的处理来训练DNN。阶段被分配给工作者计算设备。工作者计算设备使用调度策略来处理训练数据的批次，该调度策略使得工作者在DNN训练数据的批次的前向处理与DNN训练数据的批次的后向处理之间交替。这些阶段可以被配置成用于模型并行处理或数据并行处理。