公开(公告)号：CN118871902A

公开(公告)日：2024-10-29

申请号：CN202380027149.6

申请日：2023-01-24

Applicant: 微软技术许可有限责任公司

Inventor： V·埃兰戈 ,  B·达尔维什·鲁哈尼 ,  E·S·钟 ,  D·C·伯格

IPC: G06F17/16 ,  G06N3/0495 ,  G06N3/082 ,  G06N3/084

Abstract: 一种用于稀疏矩阵乘法的方法包括，接收具有在第一维度中的M个元素的第一块，并且将M个元素的第一块解析为包括第一维度中的M/B个元素的第一B个子块集合。将具有S％稀疏性的第一稀疏性掩码应用于元素的第一块，使得第一B个子块集合中的每个子块具有S％稀疏性。接收具有在第二维度中的M个元素的第二块，并且将该第二块解析为包括在第二维度中的M/B个元素的第二B个子块集合。将具有S’％稀疏性的第二稀疏性掩码应用于元素的第二块，使得第二B个子块集合的S’％具有100％稀疏性并且第二B个子块集合的(100‑S’)％具有0％稀疏性。然后对第一块和第二块进行矩阵相乘。

公开(公告)号：CN117413281A

公开(公告)日：2024-01-16

申请号：CN202280038288.4

申请日：2022-05-04

Applicant: 微软技术许可有限责任公司

Inventor： V·埃兰戈 ,  B·达尔维什·鲁哈尼 ,  E·S·钟 ,  D·C·伯格 ,  M·戈卢布

IPC: G06N3/082 ,  G06N3/084 ,  G06N3/0499

Abstract: 本公开的实施例包括用于执行用于神经网络的数据感知模型修剪的系统和方法。在训练阶段期间，使用第一组数据训练神经网络。在验证阶段期间，使用第二组数据利用神经网络执行推理使神经网络在神经网络中的层处生成第一组输出。在验证阶段期间，基于第一组输出计算多个平均值和多个方差值。基于多个平均值和多个方差值计算多个熵值。基于多个熵值修剪第二组输出。第二组输出是由神经网络的层使用第三组数据生成的。

公开(公告)号：CN116830077A

公开(公告)日：2023-09-29

申请号：CN202280014048.0

申请日：2022-01-20

Applicant: 微软技术许可有限责任公司

Inventor： B·达尔维什·鲁哈尼 ,  V·埃兰戈 ,  R·沙菲普尔 ,  J·弗沃斯 ,  刘明罡 ,  奚锦文 ,  D·C·伯格 ,  E·S·钟

IPC: G06F7/483

Abstract: 本公开的实施例包括用于提供分层和共享指数浮点数据类型的系统和方法。第一共享指数值和第二共享指数值基于多个浮点值的指数值而被确定。第三共享指数值基于第一共享指数值和第二共享指数值而被确定。第一差值和第二差值基于第一共享指数值、第二共享指数值和第三共享指数值而被确定。符号值和尾数值针对多个浮点值而被确定。针对多个浮点值中的每个浮点值的符号值和尾数值、第三共享指数值、第一差值和第二差值被存储在针对共享指数浮点数据类型的数据结构中。

公开(公告)号：CN117529730A

公开(公告)日：2024-02-06

申请号：CN202280042941.4

申请日：2022-05-12

Applicant: 微软技术许可有限责任公司

Inventor： B·达尔维什·鲁哈尼 ,  V·埃兰戈 ,  E·S·钟 ,  D·C·伯格 ,  M·C·赫德斯 ,  N·沙阿 ,  R·沙菲布尔 ,  A·莫尔

IPC: G06N3/0495 ,  G06N3/048

Abstract: 本公开的实施例包括用于稀疏化用于神经网络的窄数据格式的系统和方法。将神经网络中的多个激活值被提供给复用单元。对多个权重值执行稀疏化操作集，以生成多个权重值的子集以及与多个权重值相关联的掩码值。将多个权重值的子集提供给矩阵乘法单元。复用单元基于掩码值生成多个激活值的子集，并将多个激活值的子集提供给矩阵乘法单元。矩阵乘法单元对多个权重值的子集和多个激活值的子集执行矩阵乘法操作集，以生成输出集。