公开(公告)号：CN111226233A

公开(公告)日：2020-06-02

申请号：CN201880067753.0

申请日：2018-10-04

Applicant: 国际商业机器公司

Inventor： 王洲 ,  崔正旭 ,  K·高帕拉克里斯南 ,  S·温卡塔拉玛尼 ,  C·萨卡尔

IPC: G06N3/08

Abstract: 描述了促进提高神经网络的效率的技术。在一个实施例中，提供了一种系统，该系统包括存储计算机可执行组件的存储器和执行存储在存储器中的计算机可执行组件的处理器。在一个实现方式中，计算机可执行组件包括选择输出限制的初始值的初始化组件，其中输出限制指示神经网络的激活函数的输出的范围。计算机可执行组件还包括训练组件，训练组件在训练期间将输出限制的初始值修改为输出限制的第二值，输出限制的第二值被提供为激活函数的参数。计算机可执行组件还包括激活函数组件，激活函数组件基于作为参数的输出限制的第二值来确定激活函数的输出。

公开(公告)号：CN119547083A

公开(公告)日：2025-02-28

申请号：CN202380052991.5

申请日：2023-07-10

Applicant: 国际商业机器公司

Inventor： R·纳伊尔 ,  S·温卡塔拉玛尼 ,  V·斯里尼瓦桑 ,  A·库玛尔

IPC: G06N3/06 ,  G06F12/02 ,  G06F3/06 ,  G06F13/16

Abstract: 一种存储器系统、一种组装所述存储器系统的方法及一种计算机系统。该存储器系统包括耦合到多个处理元件的全局存储器设备。全局存储器设备放置于多个处理设备所驻留的芯片的外部。该存储器系统还包括耦合到多个处理设备的至少一个处理元件和全局存储器设备的至少一个主便笺式存储器。该存储器系统还包括耦合到多个处理元件和全局存储器设备的多个辅助便笺式存储器。一个或多个辅助便签式存储器被配置成存储静态张量。多个辅助便笺式存储器的至少一部分被配置为单一的多通道设备。

公开(公告)号：CN114424214A

公开(公告)日：2022-04-29

申请号：CN202080065781.6

申请日：2020-09-29

Applicant: 国际商业机器公司

Inventor： S·温卡塔拉玛尼 ,  V·斯里尼瓦桑 ,  P·黑德尔博格

IPC: G06N3/063

Abstract: 公开了混合并行性技术，其中使用数据与模型并行性技术的混合来跨处理器阵列拆分层的工作负载。当配置阵列时，处理器在一个方向上的带宽可大于另一方向上的带宽。每个层根据它们是特征更重还是权重更重来表征。根据该表征，NN层的工作负载可以使用混合并行性技术来分配给阵列，而不是仅使用数据并行性技术或仅使用模型并行性技术。例如，如果NN层相比特征重更加权重重，则在具有较大带宽的方向上使用数据并行性(以最小化权重减小的负面影响)，而在具有较小带宽的方向上使用模型并行性。