-
公开(公告)号:CN114902201A
公开(公告)日:2022-08-12
申请号:CN202080091654.3
申请日:2020-11-24
Applicant: 微软技术许可有限责任公司
IPC: G06F15/173 , G06N3/063
Abstract: 本公开的实施例包括用于处理神经网络的技术。可以使用组合处理器序列的拓扑来实现各种形式的并行性。在一个实施例中,本公开包括计算机系统,该计算机系统包括多个处理器组,每个处理器组包括多个处理器。多个网络交换机被耦合到多个处理器组的子集。处理器组中的处理器子集可被配置为形成序列,并且网络交换机可被配置为形成跨多个处理器组中的一个或多个处理器组的至少一个序列,以执行神经网络计算。公开了用于创建哈密顿循环的各种配置以支持数据并行性、流水线并行性、层并行性或其组合。
-
公开(公告)号:CN114902202A
公开(公告)日:2022-08-12
申请号:CN202080091685.9
申请日:2020-11-26
Applicant: 微软技术许可有限责任公司
IPC: G06F15/173
Abstract: 本公开的实施例包括用于处理神经网络的技术。可以使用组合处理器序列的拓扑来实现各种形式的并行性。在一个实施例中,本公开包括计算机系统,该计算机系统包括一个或多个处理器组,每个处理器组包括多个处理器。多个网络交换机被耦合到多个处理器组的子集。在一个实施例中,交换机可以是光网络交换机。处理器组中的处理器子集可被配置为形成序列,并且网络交换机可被配置为形成跨越多个中的一个或多个处理器组的至少一个序列,以执行神经网络计算。公开了用于创建哈密顿循环的各种配置以支持数据并行性、流水线并行性、层并行性或其组合。
-
公开(公告)号:CN117015764A
公开(公告)日:2023-11-07
申请号:CN202280020407.3
申请日:2022-03-01
Applicant: 微软技术许可有限责任公司
IPC: G06F9/52
Abstract: 一个示例提供了集成计算设备,包括一个或多个计算集群以及一个或多个网络控制器,每个网络控制器包括:本地数据通知队列,用于将源自集成计算设备上的计算集群的发送消息通知排队;远程数据通知队列,用于将源自远程集成计算设备上的网络控制器的接收消息通知排队;本地无数据通知队列,用于将来自集成计算设备上的计算集群的接收消息通知排队;以及连接调度器,被配置为在本地数据通知队列中的发送消息通知与远程数据通知队列中的接收消息通知相匹配时,对来自集成计算设备上的存储器的数据发送进行调度,并对来自本地无数据通知队列的接收消息通知的发送进行调度。
-
公开(公告)号:CN116783577A
公开(公告)日:2023-09-19
申请号:CN202280010602.8
申请日:2022-01-18
Applicant: 微软技术许可有限责任公司
IPC: G06F7/483
Abstract: 本公开包括生成二(2)的幂次方的输入值次方的值的数字电路。例如,数字电路可以包括组合逻辑,该组合逻辑接收表示输入值的输入尾数的第一数字位和表示输入值的输入指数的第二数字位。该组合逻辑生成多个输出尾数和多个输出指数,该多个输出尾数和多个输出指数与当输入值为正和负并且当输入指数高于和低于第一值时二(2)的幂次方的输入值次方的近似值相对应。选择电路被配置为接收输出尾数和输出指数。选择电路包括被耦合到输入值的输入指数和输入符号位的选择控制输入以选择输出尾数中的一个输出尾数和一个输出指数。
-
公开(公告)号:CN118696506A
公开(公告)日:2024-09-24
申请号:CN202280091530.4
申请日:2022-11-29
Applicant: 微软技术许可有限责任公司
IPC: H03M7/30
Abstract: 本公开的实施例包括用于多级压缩的数字电路和方法。使用多级压缩算法来压缩数字数据值并将其存储在存储器中。解压缩电路接收这些值并执行部分解压缩。将部分压缩的值提供给处理器,处理器执行最终解压缩。在一个实施例中,使用第一位掩码来将N长度压缩值的向量解压缩为具有非零值的两个N长度集合。使用两个M长度位掩码来将这两个N长度集合进一步解压缩成M长度稀疏向量,每个稀疏向量都具有非零值。
-
-
-
-