-
公开(公告)号：CN107784364B
公开(公告)日：2021-06-15
申请号：CN201610730381.8
申请日：2016-08-25
Applicant: 微软技术许可有限责任公司
Abstract: 本公开的实施例涉及机器学习模型的异步训练。服务器从工作机接收通过对机器学习模型进行训练而生成的反馈数据。这些反馈数据是工作机利用自己的训练数据获得的，并且与该机器学习模型的参数集在这个特定工作机处的先前值相关联。服务器确定所述先前值与参数集在服务器处的当前值之间的差异。这个当前值可能是由于其他工作机的操作而经过了一次或多次的更新。继而，服务器可以基于反馈数据和参数集的值之间的差异，来更新参数集的当前值。由此，这种更新不仅考虑了每个工作机的训练结果，还对不同工作机之间的延迟做出了适当的补偿。
-
公开(公告)号：CN110009091B
公开(公告)日：2023-10-31
申请号：CN201810012490.5
申请日：2018-01-05
Applicant: 微软技术许可有限责任公司
Abstract: 根据本公开的实现，提出了一种学习网络在等价类空间中的优化方案。在该方案中，确定贯穿学习网络的多个层的多个基础路径。多个层上的每个节点利用具有缩放不变属性的激活函数对来自前一层的节点的输入进行处理，每个基础路径包括多个层中的每一层上的单个节点，并且多个基础路径中的处理彼此线性无关。对于多个基础路径中的每一个基础路径，更新与该基础路径中的节点相关联的参数的组合值，在每个基础路径中，与一个节点相关联的参数被用以调节该节点从前一层的节点获得的输入。基于更新后的参数的组合值，更新在多个基础路径中与多个层上的节点相关联的参数的值。通过该方案，提高了优化效率，实现更准确地获得参数的优化值。
-
公开(公告)号：CN110009091A
公开(公告)日：2019-07-12
申请号：CN201810012490.5
申请日：2018-01-05
Applicant: 微软技术许可有限责任公司
Abstract: 根据本公开的实现，提出了一种学习网络在等价类空间中的优化方案。在该方案中，确定贯穿学习网络的多个层的多个基础路径。多个层上的每个节点利用具有缩放不变属性的激活函数对来自前一层的节点的输入进行处理，每个基础路径包括多个层中的每一层上的单个节点，并且多个基础路径中的处理彼此线性无关。对于多个基础路径中的每一个基础路径，更新与该基础路径中的节点相关联的参数的组合值，在每个基础路径中，与一个节点相关联的参数被用以调节该节点从前一层的节点获得的输入。基于更新后的参数的组合值，更新在多个基础路径中与多个层上的节点相关联的参数的值。通过该方案，提高了优化效率，实现更准确地获得参数的优化值。
-
公开(公告)号：CN107784364A
公开(公告)日：2018-03-09
申请号：CN201610730381.8
申请日：2016-08-25
Applicant: 微软技术许可有限责任公司
CPC classification number: G06N3/084 , G06N3/0454 , G06N99/005 , G06N3/02
Abstract: 本公开的实施例涉及机器学习模型的异步训练。服务器从工作机接收通过对机器学习模型进行训练而生成的反馈数据。这些反馈数据是工作机利用自己的训练数据获得的，并且与该机器学习模型的参数集在这个特定工作机处的先前值相关联。服务器确定所述先前值与参数集在服务器处的当前值之间的差异。这个当前值可能是由于其他工作机的操作而经过了一次或多次的更新。继而，服务器可以基于反馈数据和参数集的值之间的差异，来更新参数集的当前值。由此，这种更新不仅考虑了每个工作机的训练结果，还对不同工作机之间的延迟做出了适当的补偿。
-
-
-
Search Results
4
records
(took 0.024 seconds)
