-
公开(公告)号：CN113424202B
公开(公告)日：2025-01-10
申请号：CN202080014556.X
申请日：2020-01-30
Applicant: 微软技术许可有限责任公司
IPC: G06N3/063 , G06N3/084 , G06N3/0464
Abstract: 公开了用于使用量化精度数据格式来训练神经网络加速器的装置和方法，特别是用于调整被用来在训练期间存储激活值的浮点格式的装置和方法。在所公开技术的某些示例中，计算系统包括处理器、存储器和与存储器通信的浮点压缩器。计算系统被配置为产生包括以第一浮点格式表达的激活值的神经网络，基于性能度量选择针对神经网络的第二浮点格式，将激活值中的至少一个激活值转换为第二浮点格式，以及将经压缩的激活值存储在存储器中。可以被调整的第二浮点格式的各方面包括被用来表达尾数的位数、指数格式、非均匀尾数的使用和/或被用来表达尾数中的一些尾数的离群值的使用。
-
公开(公告)号：CN109952754B
公开(公告)日：2022-10-28
申请号：CN201780053914.6
申请日：2017-08-23
Applicant: 微软技术许可有限责任公司
IPC: H04L12/66 , G01C11/02 , H04L47/762 , H04L67/12 , H04L67/10
Abstract: 公开了一种可以在本地网络中实现并且在弱连接设置的情况下与云网络通信以提供有效服务的网关。网关可以被配置为支持有效利用网关和云网络中的资源的服务，并且在以弱连接设置进行操作时提供期望的服务质量。网关可以提供数据收集和处理、本地网络服务，并且支持利用由网关收集和处理的数据的云服务。本地网络可以包括向网关提供数据的一个或多个传感器和/或摄像机。在另外的实现中，通过基于期望的服务时延来确定一个或多个服务任务的分配，网关可以确定服务的一个或多个任务在网关与云网络之间的分配。
-
公开(公告)号：CN113348474A
公开(公告)日：2021-09-03
申请号：CN202080010832.5
申请日：2020-01-04
Applicant: 微软技术许可有限责任公司
Abstract: 公开了用于使用量化精度数据格式来训练神经网络加速器的装置和方法，并且特别是用于以具有有损或非均匀尾数的压缩格式存储来自神经网络的激活值，以用于在神经网络的前向和后向传播训练期间使用。在所公开技术的某些示例中，计算系统包括处理器、存储器和与存储器通信的压缩器。计算系统被配置为针对神经网络的层执行前向传播以产生第一块浮点格式的第一激活值。在一些示例中，由前向传播生成的激活值由压缩器转换为具有非均匀和/或有损尾数的第二块浮点格式。压缩的激活值被存储在存储器中，在存储器中该压缩的激活值可以被取回以用于在后向传播期间使用。
-
公开(公告)号：CN113273082B
公开(公告)日：2025-04-25
申请号：CN201980087238.3
申请日：2019-12-16
Applicant: 微软技术许可有限责任公司
Abstract: 公开了用于使用具有异常值的经量化精度数据格式训练神经网络加速器的装置和方法，并且具体地，公开了用于以压缩格式存储来自神经网络的激活值以供在神经网络的前向和后向传播训练期间使用。在所公开的技术的某些示例中，计算系统被配置为执行针对神经网络的层的前向传播以产生第一块浮点格式的第一激活值。在一些示例中，由前向传播生成的激活值被压缩器转换为比第一块浮点格式具有更窄的数值精度的第二块浮点格式。包括尾数和/或指数的附加位的异常值被存储在用于激活值的子集的辅助存储装置中。压缩的激活值被存储在存储器中，其中压缩的激活值可以被取回以供在后向传播期间使用。
-
公开(公告)号：CN112154462B
公开(公告)日：2025-01-17
申请号：CN201980033991.4
申请日：2019-05-07
Applicant: 微软技术许可有限责任公司
IPC: G06N3/063 , G06N3/0464 , G06N3/08
Abstract: 使用DNN的简档将深度神经网络(DNN)的层划分为多个阶段。阶段中的每个阶段包括DNN的层中的一个或多个层。将DNN的层划分为多个阶段以各种方式被优化，包括优化划分以最小化训练时间，最小化用于训练DNN的工作者计算设备之间的数据通信，或确保工作者计算设备执行大致相等量的处理来训练DNN。阶段被分配给工作者计算设备。工作者计算设备使用调度策略来处理训练数据的批次，该调度策略使得工作者在DNN训练数据的批次的前向处理与DNN训练数据的批次的后向处理之间交替。这些阶段可以被配置成用于模型并行处理或数据并行处理。
-
Patent Agency Ranking
公开(公告)号：CN109952754A
公开(公告)日：2019-06-28
申请号：CN201780053914.6
申请日：2017-08-23
Applicant: 微软技术许可有限责任公司
Abstract: 公开了一种可以在本地网络中实现并且在弱连接设置的情况下与云网络通信以提供有效服务的网关。网关可以被配置为支持有效利用网关和云网络中的资源的服务，并且在以弱连接设置进行操作时提供期望的服务质量。网关可以提供数据收集和处理、本地网络服务，并且支持利用由网关收集和处理的数据的云服务。本地网络可以包括向网关提供数据的一个或多个传感器和/或摄像机。在另外的实现中，通过基于期望的服务时延来确定一个或多个服务任务的分配，网关可以确定服务的一个或多个任务在网关与云网络之间的分配。
-
公开(公告)号：CN113424202A
公开(公告)日：2021-09-21
申请号：CN202080014556.X
申请日：2020-01-30
Applicant: 微软技术许可有限责任公司
Abstract: 公开了用于使用量化精度数据格式来训练神经网络加速器的装置和方法，特别是用于调整被用来在训练期间存储激活值的浮点格式的装置和方法。在所公开技术的某些示例中，计算系统包括处理器、存储器和与存储器通信的浮点压缩器。计算系统被配置为产生包括以第一浮点格式表达的激活值的神经网络，基于性能度量选择针对神经网络的第二浮点格式，将激活值中的至少一个激活值转换为第二浮点格式，以及将经压缩的激活值存储在存储器中。可以被调整的第二浮点格式的各方面包括被用来表达尾数的位数、指数格式、非均匀尾数的使用和/或被用来表达尾数中的一些尾数的离群值的使用。
-
公开(公告)号：CN112088384A
公开(公告)日：2020-12-15
申请号：CN201980031112.4
申请日：2019-04-30
Applicant: 微软技术许可有限责任公司
Abstract: 函数被添加到深度神经网络(“DNN”)计算图以在DNN的正向训练传递期间对数据结构进行编码并且在DNN的反向训练传递期间对先前编码的数据结构进行解码。被添加到DNN计算图的函数可以基于在DNN计算图中指定的特定层对来选择。一旦生成经修改DNN计算图，就可以使用经修改DNN计算图来训练DNN。被添加到经修改DNN计算图的函数可以减少在DNN的训练期间存储器的利用。
-
公开(公告)号：CN113273082A
公开(公告)日：2021-08-17
申请号：CN201980087238.3
申请日：2019-12-16
Applicant: 微软技术许可有限责任公司
Abstract: 公开了用于使用具有异常值的经量化精度数据格式训练神经网络加速器的装置和方法，并且具体地，公开了用于以压缩格式存储来自神经网络的激活值以供在神经网络的前向和后向传播训练期间使用。在所公开的技术的某些示例中，计算系统被配置为执行针对神经网络的层的前向传播以产生第一块浮点格式的第一激活值。在一些示例中，由前向传播生成的激活值被压缩器转换为比第一块浮点格式具有更窄的数值精度的第二块浮点格式。包括尾数和/或指数的附加位的异常值被存储在用于激活值的子集的辅助存储装置中。压缩的激活值被存储在存储器中，其中压缩的激活值可以被取回以供在后向传播期间使用。
-
公开(公告)号：CN112154462A
公开(公告)日：2020-12-29
申请号：CN201980033991.4
申请日：2019-05-07
Applicant: 微软技术许可有限责任公司
Abstract: 使用DNN的简档将深度神经网络(DNN)的层划分为多个阶段。阶段中的每个阶段包括DNN的层中的一个或多个层。将DNN的层划分为多个阶段以各种方式被优化，包括优化划分以最小化训练时间，最小化用于训练DNN的工作者计算设备之间的数据通信，或确保工作者计算设备执行大致相等量的处理来训练DNN。阶段被分配给工作者计算设备。工作者计算设备使用调度策略来处理训练数据的批次，该调度策略使得工作者在DNN训练数据的批次的前向处理与DNN训练数据的批次的后向处理之间交替。这些阶段可以被配置成用于模型并行处理或数据并行处理。
-
-
-
-
-
-
-
-
-
Search Results
10
records
(took 0.027 seconds)
