公开(公告)号：CN119866498A

公开(公告)日：2025-04-22

申请号：CN202380065715.2

申请日：2023-08-08

Applicant: 国际商业机器公司

Inventor： J·R·比谢尔 ,  M·勒加洛-布尔多 ,  A·塞巴斯蒂安 ,  A·拉西米 ,  I·博伊巴特·卡拉

IPC: G06N3/045 ,  G06N3/065 ,  G11C11/54 ,  G06G7/16

Abstract: 一种用于高效推断混合专家(MoE)神经网络模型的3D存储器内计算加速器系统(100)和方法。该系统包括多个存储器内计算核(102)，每个存储器内核包括多层存储器内计算单元(106)。存储器内计算单元的一个或多个层对应于MoE模型的专家子模型。根据基于函数的路由(115)选择用于激活传播的一个或多个专家子模型，对应的专家层基于该函数被激活。在一个实施例中，该函数是用于输入和输出激活的动态路由的基于散列的层选择函数。在实施例中，应用该函数以使用基于输入数据或使用基于层激活的MoE来选择单个专家或多个专家以用于单层级激活。此外，该系统被配置为具有单个专家模型选择的多模型系统或具有多个专家选择的多模型系统。

公开(公告)号：CN111279366B

公开(公告)日：2023-06-27

申请号：CN201880069287.X

申请日：2018-10-23

Applicant: 国际商业机器公司

Inventor： M·勒加洛-布尔多 ,  A·塞巴斯蒂安 ,  I·博伊巴特·卡拉 ,  E·S·埃勒夫塞里奥 ,  N·萨西德哈兰·拉贾勒克什米

IPC: G06N3/084 ,  G06N3/063 ,  G06N3/048 ,  G06N3/047 ,  G06F18/2415

Abstract: 提供用于训练人工神经网络的方法和装置，所述人工神经网络具有插入突触层的一系列神经元层。一组忆阻器件的交叉式阵列，连接在行线和列线之间，实现所述突触层。每个忆阻器件存储一个将连续的神经元层中相应的一对神经元互连的突触的权重。该训练方法包括通过以下步骤来执行迭代训练方案的前向传播、后向传播和权重更新操作：在方案的前向传播和后向传播操作中的至少一个中，将与相应神经元相关联的输入信号施加到该组阵列的行线和列线中的一种线，以获得所述行线和列线中的另一种线上的输出信号；将对应于所述输入和输出信号的数字信号值存储在可操作地耦合到该组阵列的数字处理单元中。通过在数字处理单元中根据所述数字信号值为相应忆阻器件计算数字权重校正值ΔW，并将编程信号施加到这些器件以根据相应数字权重校正值ΔW更新所存储的权重，来执行所述方案的权重更新操作。

公开(公告)号：CN111279366A

公开(公告)日：2020-06-12

申请号：CN201880069287.X

申请日：2018-10-23

Applicant: 国际商业机器公司

Inventor： M·勒加洛-布尔多 ,  A·塞巴斯蒂安 ,  I·博伊巴特·卡拉 ,  E·S·埃勒夫塞里奥 ,  N·萨西德哈兰·拉贾勒克什米

IPC: G06N3/08 ,  G06N3/063

Abstract: 提供用于训练人工神经网络的方法和装置，所述人工神经网络具有插入突触层的一系列神经元层。一组忆阻器件的交叉式阵列，连接在行线和列线之间，实现所述突触层。每个忆阻器件存储一个将连续的神经元层中相应的一对神经元互连的突触的权重 。该训练方法包括通过以下步骤来执行迭代训练方案的前向传播、后向传播和权重更新操作：在方案的前向传播和后向传播操作中的至少一个中，将与相应神经元相关联的输入信号施加到该组阵列的行线和列线中的一种线，以获得所述行线和列线中的另一种线上的输出信号；将对应于所述输入和输出信号的数字信号值存储在可操作地耦合到该组阵列的数字处理单元中。通过在数字处理单元中根据所述数字信号值为相应忆阻器件计算数字权重校正值ΔW，并将编程信号施加到这些器件以根据相应数字权重校正值ΔW更新所存储的权重 ，来执行所述方案的权重更新操作。