-
公开(公告)号:CN107784364B
公开(公告)日:2021-06-15
申请号:CN201610730381.8
申请日:2016-08-25
Applicant: 微软技术许可有限责任公司
Abstract: 本公开的实施例涉及机器学习模型的异步训练。服务器从工作机接收通过对机器学习模型进行训练而生成的反馈数据。这些反馈数据是工作机利用自己的训练数据获得的,并且与该机器学习模型的参数集在这个特定工作机处的先前值相关联。服务器确定所述先前值与参数集在服务器处的当前值之间的差异。这个当前值可能是由于其他工作机的操作而经过了一次或多次的更新。继而,服务器可以基于反馈数据和参数集的值之间的差异,来更新参数集的当前值。由此,这种更新不仅考虑了每个工作机的训练结果,还对不同工作机之间的延迟做出了适当的补偿。
-
公开(公告)号:CN112470130A
公开(公告)日:2021-03-09
申请号:CN201980048844.4
申请日:2019-06-20
Applicant: 微软技术许可有限责任公司
Inventor: P·安拓诺波洛斯 , A-L·拉杜 , H·R·科达瓦拉 , P·伯恩 , 陈薇 , R·T·柯丹达拉马思 , G·M·文卡塔拉玛纳帕
Abstract: 数据库恢复可以在基本恒定的时间内被执行。从数据库交易日志,可以标识一个或多个交易的状态,一个或多个交易包括崩溃时活动但未被提交的那些交易。从最后一个成功检查点的开头开始到交易日志的结尾,可以顺序地重新应用交易。未被提交的用户交易不被同步撤消,而只是被标记为中止。随后,受影响的数据元素的版本可以被异步还原为先前保存版本。
-
公开(公告)号:CN112470130B
公开(公告)日:2024-12-24
申请号:CN201980048844.4
申请日:2019-06-20
Applicant: 微软技术许可有限责任公司
Inventor: P·安拓诺波洛斯 , A-L·拉杜 , H·R·科达瓦拉 , P·伯恩 , 陈薇 , R·T·柯丹达拉马思 , G·M·文卡塔拉玛纳帕
Abstract: 数据库恢复可以在基本恒定的时间内被执行。从数据库交易日志,可以标识一个或多个交易的状态,一个或多个交易包括崩溃时活动但未被提交的那些交易。从最后一个成功检查点的开头开始到交易日志的结尾,可以顺序地重新应用交易。未被提交的用户交易不被同步撤消,而只是被标记为中止。随后,受影响的数据元素的版本可以被异步还原为先前保存版本。
-
公开(公告)号:CN110009091B
公开(公告)日:2023-10-31
申请号:CN201810012490.5
申请日:2018-01-05
Applicant: 微软技术许可有限责任公司
Abstract: 根据本公开的实现,提出了一种学习网络在等价类空间中的优化方案。在该方案中,确定贯穿学习网络的多个层的多个基础路径。多个层上的每个节点利用具有缩放不变属性的激活函数对来自前一层的节点的输入进行处理,每个基础路径包括多个层中的每一层上的单个节点,并且多个基础路径中的处理彼此线性无关。对于多个基础路径中的每一个基础路径,更新与该基础路径中的节点相关联的参数的组合值,在每个基础路径中,与一个节点相关联的参数被用以调节该节点从前一层的节点获得的输入。基于更新后的参数的组合值,更新在多个基础路径中与多个层上的节点相关联的参数的值。通过该方案,提高了优化效率,实现更准确地获得参数的优化值。
-
公开(公告)号:CN110009091A
公开(公告)日:2019-07-12
申请号:CN201810012490.5
申请日:2018-01-05
Applicant: 微软技术许可有限责任公司
Abstract: 根据本公开的实现,提出了一种学习网络在等价类空间中的优化方案。在该方案中,确定贯穿学习网络的多个层的多个基础路径。多个层上的每个节点利用具有缩放不变属性的激活函数对来自前一层的节点的输入进行处理,每个基础路径包括多个层中的每一层上的单个节点,并且多个基础路径中的处理彼此线性无关。对于多个基础路径中的每一个基础路径,更新与该基础路径中的节点相关联的参数的组合值,在每个基础路径中,与一个节点相关联的参数被用以调节该节点从前一层的节点获得的输入。基于更新后的参数的组合值,更新在多个基础路径中与多个层上的节点相关联的参数的值。通过该方案,提高了优化效率,实现更准确地获得参数的优化值。
-
公开(公告)号:CN107784364A
公开(公告)日:2018-03-09
申请号:CN201610730381.8
申请日:2016-08-25
Applicant: 微软技术许可有限责任公司
CPC classification number: G06N3/084 , G06N3/0454 , G06N99/005 , G06N3/02
Abstract: 本公开的实施例涉及机器学习模型的异步训练。服务器从工作机接收通过对机器学习模型进行训练而生成的反馈数据。这些反馈数据是工作机利用自己的训练数据获得的,并且与该机器学习模型的参数集在这个特定工作机处的先前值相关联。服务器确定所述先前值与参数集在服务器处的当前值之间的差异。这个当前值可能是由于其他工作机的操作而经过了一次或多次的更新。继而,服务器可以基于反馈数据和参数集的值之间的差异,来更新参数集的当前值。由此,这种更新不仅考虑了每个工作机的训练结果,还对不同工作机之间的延迟做出了适当的补偿。
-
-
-
-
-