公开(公告)号：CN111291869A

公开(公告)日：2020-06-16

申请号：CN202010384216.8

申请日：2020-05-09

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 葛志邦 ,  赵鹏程 ,  姜涛 ,  李杨 ,  王琳

IPC: G06N3/04 ,  G06N3/08 ,  G06N20/00

Abstract: 本说明书实施例提供一种并行训练业务模型的方法，在并行训练业务模型的过程中，就参与并行训练的多个设备中的单个设备而言，仅保存一部分模型参数的当前值，在其他设备需要相关模型参数时，实时从该单个设备获取这些参数。在参数调整更新过程中，其他设备将相关模型参数的当前梯度反馈给该单个设备，由该单个设备综合考虑各个当前梯度，对所保存的模型参数进行当前值的调整。由于各个设备分别处理部分模型参数，可以有效缩短计算和通信时间，从而提高模型并行训练效率。

公开(公告)号：CN111291869B

公开(公告)日：2020-11-24

申请号：CN202010384216.8

申请日：2020-05-09

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 葛志邦 ,  赵鹏程 ,  姜涛 ,  李杨 ,  王琳

IPC: G06N3/04 ,  G06N3/08 ,  G06N20/00

Abstract: 本说明书实施例提供一种并行训练业务模型的方法，在并行训练业务模型的过程中，就参与并行训练的多个设备中的单个设备而言，仅保存一部分模型参数的当前值，在其他设备需要相关模型参数时，实时从该单个设备获取这些参数。在参数调整更新过程中，其他设备将相关模型参数的当前梯度反馈给该单个设备，由该单个设备综合考虑各个当前梯度，对所保存的模型参数进行当前值的调整。由于各个设备分别处理部分模型参数，可以有效缩短计算和通信时间，从而提高模型并行训练效率。