公开(公告)号：CN115398449A

公开(公告)日：2022-11-25

申请号：CN202180028394.X

申请日：2021-02-09

Applicant: 微软技术许可有限责任公司

Inventor： 奚锦文 ,  B·普迪佩迪 ,  M·特雷布莱

IPC: G06N3/063 ,  G06N3/08

Abstract: 描述了与具有减少的存储器需求的双动量梯度优化相关的系统和方法。描述了一种系统中的示例方法，该系统包括梯度优化器和存储器，该存储器被配置为存储与包括L层的神经网络模型相关联的动量值。该方法包括从存储器取回对应于神经网络模型的层的具有所选择的存储格式的第一组动量值和第二组动量值。该方法还包括：将第一组动量值转换为具有与梯度优化器相关联的训练格式的第三组动量值，以及将第二组动量值转换为具有与梯度优化器相关联的训练格式的第四组动量值。该方法还包括使用第三组动量值和第四组动量值来执行梯度优化。

公开(公告)号：CN115362453A

公开(公告)日：2022-11-18

申请号：CN202180023567.9

申请日：2021-01-20

Applicant: 微软技术许可有限责任公司

Inventor： 奚锦文 ,  B·普迪佩迪 ,  M·特雷布莱

IPC: G06N3/08 ,  G06N3/04 ,  G06N3/063

Abstract: 描述了与使用流式梯度的硬件辅助梯度优化相关的系统和方法。描述了系统中的示例方法，该系统包括：存储器，被配置为存储与包括L个层的神经网络模型相关联的权重，其中L是大于1的整数；梯度优化器；以及多个工作器。该方法包括在单个突发周期期间，将从多个工作器中的每个工作器接收到的第一组梯度从至少一个梯度缓冲器移动到梯度优化器，并且将权重从耦合到存储器的至少一个缓冲器移动到梯度优化器。该方法还包括在单个突发周期期间将由梯度优化器计算的新权重写回存储器。该方法还包括在单个突发周期期间将新权重从梯度优化器传送到多个工作器中的每个工作器。

公开(公告)号：CN115280326A

公开(公告)日：2022-11-01

申请号：CN202180020563.5

申请日：2021-01-20

Applicant: 微软技术许可有限责任公司

Inventor： S·S·巴拉德瓦杰 ,  B·普迪佩迪 ,  M·特雷布莱

IPC: G06N3/04

Abstract: 本文公开了改进的基于卷积神经网络的机器学习模型。卷积神经网络被配置为将基于要分类的数据项生成的特征图进行分解。特征图被分解为第一子集和第二子集。第一子集表示数据项的高频分量，并且第二子集表示数据项的低频分量。第二子集被上采样并与第一子集组合。将组合特征图与滤波器卷积，以提取与数据项相关联的一个特征集。第一子集也被下采样并与第二子集组合。将组合特征图与滤波器卷积，以提取另一特征集。基于卷积操作提取的特征集来分类数据项。