一种深度学习模型的训练方法、系统

    公开(公告)号:CN111788585B

    公开(公告)日:2024-04-12

    申请号:CN201980000128.9

    申请日:2019-01-24

    Abstract: 一种深度学习模型的训练方法,该方法包括:在N个深度学习模型的第j次迭代的BP计算中生成N个第一梯度集合,调整第一梯度集合包括的梯度的通信顺序,不按照第一梯度集合中包括的梯度的生成顺序来将第一梯度集合包括的梯度发送至参数存储空间。并按照调整之后的梯度的通信顺序,将N个第一梯度集合包括的梯度分别发送至参数存储空间。该方法通过调整本次迭代过程中得到的梯度传输到参数存储空间的传输顺序,提高了深度学习模型的训练效率。

Patent Agency Ranking