公开(公告)号：CN119866498A

公开(公告)日：2025-04-22

申请号：CN202380065715.2

申请日：2023-08-08

Applicant: 国际商业机器公司

Inventor： J·R·比谢尔 ,  M·勒加洛-布尔多 ,  A·塞巴斯蒂安 ,  A·拉西米 ,  I·博伊巴特·卡拉

IPC: G06N3/045 ,  G06N3/065 ,  G11C11/54 ,  G06G7/16

Abstract: 一种用于高效推断混合专家(MoE)神经网络模型的3D存储器内计算加速器系统(100)和方法。该系统包括多个存储器内计算核(102)，每个存储器内核包括多层存储器内计算单元(106)。存储器内计算单元的一个或多个层对应于MoE模型的专家子模型。根据基于函数的路由(115)选择用于激活传播的一个或多个专家子模型，对应的专家层基于该函数被激活。在一个实施例中，该函数是用于输入和输出激活的动态路由的基于散列的层选择函数。在实施例中，应用该函数以使用基于输入数据或使用基于层激活的MoE来选择单个专家或多个专家以用于单层级激活。此外，该系统被配置为具有单个专家模型选择的多模型系统或具有多个专家选择的多模型系统。