公开(公告)号：CN107784364B

公开(公告)日：2021-06-15

申请号：CN201610730381.8

申请日：2016-08-25

Applicant: 微软技术许可有限责任公司

Inventor： 王太峰 ,  陈薇 ,  刘铁岩 ,  高飞 ,  叶启威

IPC: G06N20/00 ,  G06N3/02

Abstract: 本公开的实施例涉及机器学习模型的异步训练。服务器从工作机接收通过对机器学习模型进行训练而生成的反馈数据。这些反馈数据是工作机利用自己的训练数据获得的，并且与该机器学习模型的参数集在这个特定工作机处的先前值相关联。服务器确定所述先前值与参数集在服务器处的当前值之间的差异。这个当前值可能是由于其他工作机的操作而经过了一次或多次的更新。继而，服务器可以基于反馈数据和参数集的值之间的差异，来更新参数集的当前值。由此，这种更新不仅考虑了每个工作机的训练结果，还对不同工作机之间的延迟做出了适当的补偿。

公开(公告)号：CN107784364A

公开(公告)日：2018-03-09

申请号：CN201610730381.8

申请日：2016-08-25

Applicant: 微软技术许可有限责任公司

Inventor： 王太峰 ,  陈薇 ,  刘铁岩 ,  高飞 ,  叶启威

IPC: G06N99/00 ,  G06N3/02

CPC classification number: G06N3/084 ,  G06N3/0454 ,  G06N99/005 ,  G06N3/02

Abstract: 本公开的实施例涉及机器学习模型的异步训练。服务器从工作机接收通过对机器学习模型进行训练而生成的反馈数据。这些反馈数据是工作机利用自己的训练数据获得的，并且与该机器学习模型的参数集在这个特定工作机处的先前值相关联。服务器确定所述先前值与参数集在服务器处的当前值之间的差异。这个当前值可能是由于其他工作机的操作而经过了一次或多次的更新。继而，服务器可以基于反馈数据和参数集的值之间的差异，来更新参数集的当前值。由此，这种更新不仅考虑了每个工作机的训练结果，还对不同工作机之间的延迟做出了适当的补偿。