公开(公告)号：CN114127741A

公开(公告)日：2022-03-01

申请号：CN202080051365.0

申请日：2020-06-09

Applicant: 微软技术许可有限责任公司

Inventor： B·普蒂佩迪 ,  M·特伦布莱 ,  S·S·布哈拉德瓦杰 ,  奚锦文 ,  M·梅斯马霍斯罗沙希

IPC: G06N3/04 ,  G06N3/08

Abstract: 本文中所描述的方法、系统、装置和计算机程序产品支持大型AI模型在被通信地连接到参数服务器的存储器受限目标设备上的执行，该参数服务器存储AI模型的主副本。AI模型可以被分解成较小的部分(例如，层或子层)，并且每个部分可以在目标设备上尽可能高效地执行。在AI模型的一部分的执行完成之后，可以在目标设备处下载并执行AI模型的另一部分。一次执行AI模型的一部分的该范例允许大型AI模型的动态执行。

公开(公告)号：CN115039109A

公开(公告)日：2022-09-09

申请号：CN202080094466.6

申请日：2020-12-16

Applicant: 微软技术许可有限责任公司

Inventor： B·普蒂佩迪 ,  M·梅斯马霍斯罗沙希 ,  奚锦文 ,  S·M·库尔卡尼 ,  M·特伦布莱 ,  M·贝宁格 ,  N·克劳迪诺·佩雷拉·洛佩斯

IPC: G06N3/08 ,  G06N3/063 ,  G06F9/50 ,  G06F11/14

Abstract: 本公开的实施例包括一种错误恢复方法，该错误恢复方法包括检测计算错误，重启处理数据集的多个人工智能处理器中的第一人工智能处理器，以及在人工智能处理器加载模型，其中该模型与在由多个人工智能处理器对来自数据集的数据的先前处理迭代期间由多个人工智能处理器处理的相同模型相对应。

公开(公告)号：CN114008630A

公开(公告)日：2022-02-01

申请号：CN202080029838.7

申请日：2020-03-30

Applicant: 微软技术许可有限责任公司

Inventor： 奚锦文 ,  B·普蒂佩迪

IPC: G06N3/04 ,  G06N3/063 ,  G06N3/08

Abstract: 包括参数服务器的分布式训练系统被配置为根据聚类算法来压缩权重度量，然后权重矩阵的压缩表示可以被分发给训练工作方。压缩表示可以包括矩心索引矩阵和矩心表，其中矩心索引矩阵的每个元素对应于对应的权重矩阵的元素并且包括对矩心表的索引，并且其中矩心表的每个元素包括矩心值。在另外的示例方面，通过执行聚集缩减相加操作，该聚集缩减相加操作累加与同一矩心值相对应的训练数据矩阵的所有元素以生成部分总和，将每个部分总和乘以其对应矩心值，并且对生成乘积求和，训练工作方可以直接从权重矩阵和训练数据矩阵的压缩表示来计算激活结果。

公开(公告)号：CN114341882A

公开(公告)日：2022-04-12

申请号：CN202080061568.8

申请日：2020-06-09

Applicant: 微软技术许可有限责任公司

Inventor： 奚锦文 ,  B·普蒂佩迪 ,  M·特伦布莱

IPC: G06N3/04 ,  G06N3/08 ,  G06N20/00

Abstract: 提供了用于压缩值的系统、方法和装置。可以从存储器中获取多个参数，每个参数包括在模型中的人工神经元或节点之间的关系中使用的浮点数。可以从每个浮点数提取尾数值和指数值以生成尾数值集和指数值集。可以压缩该尾数值集以生成尾数查找表(LUT)和多个尾数LUT索引值。可以对该指数值集进行编码以生成指数LUT和多个指数LUT索引值。可以向一个或多个处理实体提供尾数LUT、尾数LUT索引值、指数LUT和指数LUT索引值，以训练模型。

公开(公告)号：CN114127740A

公开(公告)日：2022-03-01

申请号：CN202080051343.4

申请日：2020-06-09

Applicant: 微软技术许可有限责任公司

Inventor： B·普蒂佩迪 ,  M·特伦布莱 ,  S·S·布哈拉德瓦杰 ,  D·帕特尔 ,  奚锦文 ,  M·梅斯马霍斯罗沙希

IPC: G06N3/04 ,  G06N3/063

Abstract: 本文中描述了启用大型AI模型在被通信地连接到参数服务器的存储器受限目标设备上的执行的方法、系统、装置和计算机程序产品，该参数服务器存储AI模型的主副本。AI模型可以被分解成较小的部分(例如，层或子层)，并且每个部分可以在目标设备上尽可能高效地执行。在AI模型的一部分的执行完成之后，可以在目标设备处下载并执行AI模型的另一部分。为了提高效率，可以将输入样本划分为微批次，并且按顺序执行的多个微批次可以形成迷你批次。可以调节一组微批次或迷你批次的大小以减少通信开销。可以在参数服务器和目标设备处执行多级并行的参数缩减。

公开(公告)号：CN114127702A

公开(公告)日：2022-03-01

申请号：CN202080051390.9

申请日：2020-06-09

Applicant: 微软技术许可有限责任公司

Inventor： B·普蒂佩迪 ,  M·特伦布莱 ,  G·波普里 ,  L·拉希德 ,  T·米特拉 ,  M·米塔尔 ,  M·梅斯马霍斯罗沙希

IPC: G06F15/177 ,  G06F15/163

Abstract: 本文中所描述的方法、系统、装置和计算机程序产品支持大型AI模型在被通信地连接到参数服务器的存储器受限目标设备上的执行，该参数服务器存储AI模型的主副本。AI模型可以被分解成较小的部分(例如，层或子层)，并且每个部分可以在目标设备上尽可能高效地执行。在AI模型的一部分的执行完成之后，可以在目标设备处下载并执行AI模型的另一部分。为了提高效率，可以将输入样本划分为微批次，并且按顺序执行的多个微批次可以形成迷你批次。可以手动或自动地调节一组微批次或迷你批次的大小以减少通信开销。