用于分布式机器学习的通信优化
    9.
    发明公开

    公开(公告)号:CN110135575A

    公开(公告)日:2019-08-16

    申请号:CN201811549383.2

    申请日:2018-12-18

    Abstract: 本文中描述的实施例提供了一种用于配置神经网络的分布式训练的系统,所述系统包括:存储器,用于存储库,以在所述神经网络的分布式训练期间促进数据传输;网络接口,用于实现发送和接收与一组工作者节点相关联的配置数据,所述工作者节点被配置成执行所述神经网络的分布式训练;以及处理器,用于执行由所述库提供的指令,所述指令用于使所述处理器创建一组或多组工作者节点,基于在所述神经网络的分布式训练期间在所述工作者节点之间传输的消息的通信模式来创建所述一组或多组工作者节点。

Patent Agency Ranking