-
公开(公告)号:CN113994350A
公开(公告)日:2022-01-28
申请号:CN202080038111.5
申请日:2020-03-27
Applicant: 华为技术有限公司
Abstract: 各种实施例涉及确定神经网络的并行计算方案。一种设备可以接收计算图并将所述计算图变换为包括递归子图的数据流图。每个递归子图可以包括另一递归子图和算子节点的元组或者空图。所述设备可以基于并行计算设备的数量确定切分递归的次数。对于每次切分递归,所述设备可以确定算子节点对应的成本;确定所述递归子图的处理顺序;以及处理所述递归子图。为了处理递归子图,所述设备可以为与所述递归子图的算子节点相关联的一个或多个张量选择切分轴。所述设备可以输出切分方案,其中,所述切分方案包括与所述算子节点相关联的每个张量的切分轴。本申请公开了多种设备、方法和计算机程序。