公开(公告)号：CN116134413A

公开(公告)日：2023-05-16

申请号：CN202180059065.1

申请日：2021-05-28

Applicant: 微软技术许可有限责任公司

Inventor： B·普迪佩迪 ,  J·P·V·佛朗哥

IPC: G06F3/06 ,  G06N3/063 ,  G06N3/084 ,  G06N3/048

Abstract: 本公开的实施例包括用于训练神经网络的系统和方法。在一个实施例中，用于人工智能模型的数据在第一多个级和第二多个级中被处理。第一多个级和第二多个级形成管线。第一多个级中的一个或多个级使用与第二多个级中的对应的一个或多个级相关联的至少一个存储器来平衡跨管线的存储器。

公开(公告)号：CN115398449A

公开(公告)日：2022-11-25

申请号：CN202180028394.X

申请日：2021-02-09

Applicant: 微软技术许可有限责任公司

Inventor： 奚锦文 ,  B·普迪佩迪 ,  M·特雷布莱

IPC: G06N3/063 ,  G06N3/08

Abstract: 描述了与具有减少的存储器需求的双动量梯度优化相关的系统和方法。描述了一种系统中的示例方法，该系统包括梯度优化器和存储器，该存储器被配置为存储与包括L层的神经网络模型相关联的动量值。该方法包括从存储器取回对应于神经网络模型的层的具有所选择的存储格式的第一组动量值和第二组动量值。该方法还包括：将第一组动量值转换为具有与梯度优化器相关联的训练格式的第三组动量值，以及将第二组动量值转换为具有与梯度优化器相关联的训练格式的第四组动量值。该方法还包括使用第三组动量值和第四组动量值来执行梯度优化。

公开(公告)号：CN116438543A

公开(公告)日：2023-07-14

申请号：CN202180068113.3

申请日：2021-07-19

Applicant: 微软技术许可有限责任公司

Inventor： B·普迪佩迪 ,  奚锦文 ,  M·梅斯马克霍斯罗沙希 ,  G·瓦斯什特

IPC: G06N3/063 ,  G06N3/08 ,  G06F12/084

Abstract: 提供了用于数据和模型并行化中的共享存储器空间的技术，以提高存储器效率和存储器访问速度。共享存储器空间可以在主机系统处或硬件存储器代理中建立。共享存储器可以在一个或多个存储器电路中的存储器地址处，存储用于人工智能模型的训练数据或模型参数。用于人工智能模型的数据可以使用共享存储器空间的训练数据或模型参数而跨多个人工智能加速器被处理。也即，多个加速器从共享存储器空间访问数据的一个副本，而不是访问其自身单独的存储器空间。

公开(公告)号：CN115362453A

公开(公告)日：2022-11-18

申请号：CN202180023567.9

申请日：2021-01-20

Applicant: 微软技术许可有限责任公司

Inventor： 奚锦文 ,  B·普迪佩迪 ,  M·特雷布莱

IPC: G06N3/08 ,  G06N3/04 ,  G06N3/063

Abstract: 描述了与使用流式梯度的硬件辅助梯度优化相关的系统和方法。描述了系统中的示例方法，该系统包括：存储器，被配置为存储与包括L个层的神经网络模型相关联的权重，其中L是大于1的整数；梯度优化器；以及多个工作器。该方法包括在单个突发周期期间，将从多个工作器中的每个工作器接收到的第一组梯度从至少一个梯度缓冲器移动到梯度优化器，并且将权重从耦合到存储器的至少一个缓冲器移动到梯度优化器。该方法还包括在单个突发周期期间将由梯度优化器计算的新权重写回存储器。该方法还包括在单个突发周期期间将新权重从梯度优化器传送到多个工作器中的每个工作器。

公开(公告)号：CN115280326A

公开(公告)日：2022-11-01

申请号：CN202180020563.5

申请日：2021-01-20

Applicant: 微软技术许可有限责任公司

Inventor： S·S·巴拉德瓦杰 ,  B·普迪佩迪 ,  M·特雷布莱

IPC: G06N3/04

Abstract: 本文公开了改进的基于卷积神经网络的机器学习模型。卷积神经网络被配置为将基于要分类的数据项生成的特征图进行分解。特征图被分解为第一子集和第二子集。第一子集表示数据项的高频分量，并且第二子集表示数据项的低频分量。第二子集被上采样并与第一子集组合。将组合特征图与滤波器卷积，以提取与数据项相关联的一个特征集。第一子集也被下采样并与第二子集组合。将组合特征图与滤波器卷积，以提取另一特征集。基于卷积操作提取的特征集来分类数据项。