公开(公告)号：CN116830077A

公开(公告)日：2023-09-29

申请号：CN202280014048.0

申请日：2022-01-20

Applicant: 微软技术许可有限责任公司

Inventor： B·达尔维什·鲁哈尼 ,  V·埃兰戈 ,  R·沙菲普尔 ,  J·弗沃斯 ,  刘明罡 ,  奚锦文 ,  D·C·伯格 ,  E·S·钟

IPC: G06F7/483

Abstract: 本公开的实施例包括用于提供分层和共享指数浮点数据类型的系统和方法。第一共享指数值和第二共享指数值基于多个浮点值的指数值而被确定。第三共享指数值基于第一共享指数值和第二共享指数值而被确定。第一差值和第二差值基于第一共享指数值、第二共享指数值和第三共享指数值而被确定。符号值和尾数值针对多个浮点值而被确定。针对多个浮点值中的每个浮点值的符号值和尾数值、第三共享指数值、第一差值和第二差值被存储在针对共享指数浮点数据类型的数据结构中。

公开(公告)号：CN118871927A

公开(公告)日：2024-10-29

申请号：CN202380026818.8

申请日：2023-01-17

Applicant: 微软技术许可有限责任公司

Inventor： R·沙菲普尔 ,  B·达尔维什·鲁哈尼 ,  D·C·伯格 ,  刘明罡 ,  E·S·钟 ,  R·赵

IPC: G06N3/0495 ,  G06N3/084

Abstract: 一种计算系统被配置为实现深度神经网络，深度神经网络包括用于接收应用于深度神经网络的输入的输入层、用于基于所接收的输入来输出推理的输出层、以及插入在输入层和输出层之间的多个隐藏层。多个节点选择性地对输入进行操作，以生成并且引起推理的输出，其中节点的操作是基于深度神经网络的参数而被控制。稀疏控制器被配置为选择性地应用多个不同的稀疏状态来控制深度神经网络的参数密度。量化控制器被配置成以稀疏依赖的方式选择性地量化深度神经网的参数，使得应用于每个参数的量化基于多个不同稀疏状态中的哪个稀疏状态应用于该参数。