-
公开(公告)号：CN116909985A
公开(公告)日：2023-10-20
申请号：CN202310874704.0
申请日：2018-04-06
Applicant: 微软技术许可有限责任公司
Abstract: 本申请的各实施例涉及对数据分区的动态排序。经优化的存储器使用和管理对于神经网络(NN)或深度神经网络(DNN)计算环境的整体性能至关重要。使用输入数据维度的各种特性，分配序列针对将由NN或DNN处理的输入数据而被计算，分配序列优化本地和外部存储器组件的有效使用。分配序列可以描述如何将输入数据(及其相关联的处理参数(例如，处理权重))拆分为一个或多个部分以及输入数据的这样的部分(及其相关联的处理参数)如何在本地存储器、外部存储器和NN或DNN的处理单元组件之间被传递。附加地，分配序列可以包括将所生成的输出数据存储在本地和/或外部存储器组件中以优化本地和/或外部存储器组件的有效使用的指令。
-
公开(公告)号：CN110506260B
公开(公告)日：2023-09-22
申请号：CN201880024892.5
申请日：2018-04-06
Applicant: 微软技术许可有限责任公司
IPC: G06F15/80
Abstract: 神经网络(NN)和/或深度神经网络(DNN)的性能可能会受到被执行的操作的数量以及NN/DNN的各种存储器组件之间的数据管理的限制。通过在输入数据中插入选择的填充以对齐存储器中的输入数据，数据读取/写入可以被优化以供NN/DNN处理，从而增强NN/DNN的整体性能。操作上，操作控制器/迭代器可以生成一个或多个指令，其将所选填充插入数据中。可以使用输入数据的各种特性以及NN/DNN以及协作存储器组件的特性来计算数据填充。输出数据上的填充可用于支持NN/DNN的存储器组件和协作处理单元处的数据对齐。
-
公开(公告)号：CN110520870B
公开(公告)日：2023-07-14
申请号：CN201880025227.8
申请日：2018-04-06
Applicant: 微软技术许可有限责任公司
Abstract: 神经网络(NN)和/或深度神经网络(DNN)的性能可以由正执行的操作数目以及NN/DNN的存储器数据管理来限制。使用神经元权重值的向量量化，神经元的数据的处理可以优化操作的数目以及存储器利用以便增强NN/DNN的总体性能。操作地，权重值的一个或多个连续段可以被转换为任意长度的一个或多个向量，并且一个或多个向量中的每个向量可以被分配有索引。所生成的索引可以被存储在示例性向量量化查找表中并且在飞行中在运行时由示例性快速权重查找硬件来取回，作为NN的示例性数据处理功能的一部分，作为内联去量化操作的一部分，以获得所需要的一个或多个神经元权重值。
-
公开(公告)号：CN110546610B
公开(公告)日：2023-02-10
申请号：CN201880025126.0
申请日：2018-04-16
Applicant: 微软技术许可有限责任公司
Abstract: 具有与一个或多个存储器组件协作的示例性DNN模块的示例性人工智能/机器学习硬件计算环境可以执行数据共享和分发以及缓冲器数据的重用，以减少存储器组件读/写的数目，从而增强整体硬件性能并降低功耗。说明性地，根据示例性硬件的所选操作来读取来自协作存储器组件的数据，并将其写入对应的其他存储器组件以供一个或多个处理元件(例如，神经元)使用。以该方式读取数据，来优化每个处理周期的一个或多个处理元件的参与，以及重用先前存储在一个或多个协作存储器组件中的数据。可操作地，将写入的数据在被处理元件消费之前复制到阴影存储器缓冲器。
-
公开(公告)号：CN110546654A
公开(公告)日：2019-12-06
申请号：CN201880025130.7
申请日：2018-04-16
Applicant: 微软技术许可有限责任公司
Abstract: 具有DNN模块的示例性计算环境可以维持一个或多个带宽节流机制。说明性地，第一节流机制可以指定在协作构造组件(例如，数据总线)上的事务之间等待的周期数目。说明性地，第二节流机制可以是事务计数限制器，该事务计数限制器操作性地设定在给定事务序列期间要被处理的事务数目的阈值，并且限制诸如飞行中的多个事务的事务数目不超过所设定的阈值。在说明性操作中，在执行这两个示例性的所计算的节流参数时，平均带宽使用和峰值带宽使用可以被限制。操作性地，利用该构造带宽控制，DNN的处理单元被优化，以跨每个事务周期处理数据，从而得到增强的处理和较低的功耗。
-
Patent Agency Ranking
公开(公告)号：CN110537194A
公开(公告)日：2019-12-03
申请号：CN201880025488.X
申请日：2018-04-13
Applicant: 微软技术许可有限责任公司
Abstract: 一种深度神经网络(DNN)处理器被配置为执行层描述符列表中的层描述符。描述符定义用于由DNN处理器执行DNN的前向传递的指令。层描述符也可以用于管理通过DNN模块的描述符流。例如，层描述符可以定义对其他描述符的依赖性。定义依赖性的描述符将不执行，直到它们所依赖的描述符已经完成。层描述符也可以定义“防护”或“屏障”功能，该功能可以用于阻止对上游层描述符的处理，直到所有下游层描述符的处理完成。防护位保证了在处理具有要声明的防护的层描述符之前，DNN处理流水线中没有其他层描述符。
-
公开(公告)号：CN118153639A
公开(公告)日：2024-06-07
申请号：CN202410312381.0
申请日：2018-04-16
Applicant: 微软技术许可有限责任公司
IPC: G06N3/0464 , G06N3/063
Abstract: 本公开涉及用于增强数据处理的系统、方法及神经网络处理器。说明性地，第一节流机制可以指定在协作构造组件(例如，数据总线)上的事务之间等待的周期数目。说明性地，第二节流机制可以是事务计数限制器，该事务计数限制器操作性地设定在给定事务序列期间要被处理的事务数目的阈值，并且限制诸如飞行中的多个事务的事务数目不超过所设定的阈值。在说明性操作中，在执行这两个示例性的所计算的节流参数时，平均带宽使用和峰值带宽使用可以被限制。操作性地，利用该构造带宽控制，DNN的处理单元被优化，以跨每个事务周期处理数据，从而得到增强的处理和较低的功耗。
-
公开(公告)号：CN110546654B
公开(公告)日：2024-03-29
申请号：CN201880025130.7
申请日：2018-04-16
Applicant: 微软技术许可有限责任公司
IPC: G06N3/0464 , G06N3/063
Abstract: 具有DNN模块的示例性计算环境可以维持一个或多个带宽节流机制。说明性地，第一节流机制可以指定在协作构造组件(例如，数据总线)上的事务之间等待的周期数目。说明性地，第二节流机制可以是事务计数限制器，该事务计数限制器操作性地设定在给定事务序列期间要被处理的事务数目的阈值，并且限制诸如飞行中的多个事务的事务数目不超过所设定的阈值。在说明性操作中，在执行这两个示例性的所计算的节流参数时，平均带宽使用和峰值带宽使用可以被限制。操作性地，利用该构造带宽控制，DNN的处理单元被优化，以跨每个事务周期处理数据，从而得到增强的处理和较低的功耗。
-
公开(公告)号：CN110678843B
公开(公告)日：2023-07-07
申请号：CN201880025426.9
申请日：2018-04-16
Applicant: 微软技术许可有限责任公司
Abstract: 公开了能够将神经元工作负载动态地划分以降低功率消耗的深度神经网络(DNN)模块。DNN模块包括神经元和组划分器以及调度器单元。组划分器和调度器单元将针对神经元的工作负载拆分为分区，以便将可以同时处理工作负载的神经元的数量最大化。组划分器和调度器单元然后将神经元的组分配给分区中的每个分区。DNN模块中的神经元的组处理它们的分配的分区中的工作负载以生成部分输出值。每个组中的神经元然后能够对它们的部分输出值求和以针对工作负载生成最终输出值。一旦神经元的组完成了对它们的分配的工作负载的处理，就可以将神经元关断以降低功率消耗。
-
公开(公告)号：CN110537194B
公开(公告)日：2023-07-07
申请号：CN201880025488.X
申请日：2018-04-13
Applicant: 微软技术许可有限责任公司
Abstract: 一种深度神经网络(DNN)处理器被配置为执行层描述符列表中的层描述符。描述符定义用于由DNN处理器执行DNN的前向传递的指令。层描述符也可以用于管理通过DNN模块的描述符流。例如，层描述符可以定义对其他描述符的依赖性。定义依赖性的描述符将不执行，直到它们所依赖的描述符已经完成。层描述符也可以定义“防护”或“屏障”功能，该功能可以用于阻止对上游层描述符的处理，直到所有下游层描述符的处理完成。防护位保证了在处理具有要声明的防护的层描述符之前，DNN处理流水线中没有其他层描述符。
-
-
-
-
-
-
-
-
-
Search Results
32
records
(took 0.031 seconds)
