公开(公告)号：CN118511157A

公开(公告)日：2024-08-16

申请号：CN202380016169.3

申请日：2023-01-05

Applicant: 微软技术许可有限责任公司

Inventor： M·斯瓦塔努 ,  S·维斯瓦纳萨 ,  B·古拉瓦尼 ,  D·K·舒克拉 ,  R·V·内赫姆 ,  A·阿格拉瓦尔 ,  R·拉姆基 ,  K·韦兰卡 ,  R·S·阿努品迪

IPC: G06F9/46

Abstract: 本公开描述了弹性地管理加速器设备上的多工作器工作负载的工作器的执行。在第一时间间隔期间在加速器设备上执行工作负载的第一工作器。当第一工作器处于第一工作器状态时，标识第一上下文切换点。在所标识的上下文切换点处，第一工作器的第一存储器状态被存储在主机存储器中，并且加速器设备被配置成第二工作器的第二存储器状态。在第二时间间隔期间执行第二工作器，并且当第二工作器处于与第一工作器状态等效的状态时，在第二时间间隔的结束时标识第二上下文切换点。在该间隔期间，累积工作器之间的集体通信操作，并且在第二上下文切换点处执行累积的操作。

公开(公告)号：CN117063159A

公开(公告)日：2023-11-14

申请号：CN202280022093.0

申请日：2022-02-25

Applicant: 微软技术许可有限责任公司

Inventor： D·K·舒克拉 ,  M·斯瓦塔努 ,  陆迅 ,  R·V·内赫姆

IPC: G06F9/50

Abstract: 本文中的公开内容描述了深度学习训练(DLT)作业从在源节点与目的地节点之间的检查点状态的平台级迁移。检查点设置是通过捕获GPU状态(例如，设备状态)和CPU状态(例如，主机状态)来执行的。GPU状态包括位于GPU和GPU上下文(例如，GPU中的默认流、由库创建的各种句柄)中的GPU数据(例如，模型参数、优化器状态等)。在目的地节点上恢复DLT作业涉及处于相同检查点状态的目的地GPU的处理的恢复。

公开(公告)号：CN117120978A

公开(公告)日：2023-11-24

申请号：CN202280021860.6

申请日：2022-03-03

Applicant: 微软技术许可有限责任公司

Inventor： M·斯瓦塔努 ,  S·维斯瓦纳萨 ,  D·K·舒克拉 ,  N·夸特拉 ,  R·拉姆基 ,  R·V·内赫姆 ,  P·沙玛 ,  B·E·兰甘 ,  V·沙玛

IPC: G06F9/46

Abstract: 本文的公开内容描述了用于深度学习(DL)作业的平台级检查点化。检查点化是通过捕获以下两种状态数据来执行的：(i)GPU状态(设备状态)和(ii)CPU状态(主机状态)。GPU状态包括位于GPU和GPU上下文(例如，GPU中的默认流、由诸如DNN、Blas等的库创建的各种句柄)中的GPU数据(例如，模型参数、优化器状态等)。由于检查点化是以域感知方式完成的，因此仅复制GPU存储器的部分。“活动”存储器包含如模型参数的有用数据。为了能够捕获有用数据，控制存储器管理以识别存储器的哪些部分是活动的。此外，为了将目的地GPU恢复到相同的上下文/状态，一种机制被用于捕获原始GPU上的这种状态改变事件并在目的地GPU上重放。

公开(公告)号：CN117099083A

公开(公告)日：2023-11-21

申请号：CN202280026592.7

申请日：2022-03-08

Applicant: 微软技术许可有限责任公司

Inventor： M·斯瓦塔努 ,  A·卡蒂亚 ,  D·K·舒克拉 ,  R·V·内赫姆 ,  S·辛格哈尔 ,  P·沙玛 ,  N·夸特拉 ,  R·拉姆基

IPC: G06F9/50

Abstract: 本文中的公开内容描述了在云基础设施平台中调度人工智能(AI)工作负载的执行。全局调度器接收与资源票据值关联的AI工作负载。调度器基于平衡资源票据值将AI工作负载分配到节点。节点的本地调度器基于AI工作负载的资源票据值在资源上调度AI工作负载。基于调度AI工作负载，本地调度器的协调器服务在节点的基础设施资源上执行分配的AI工作负载。本公开还描述了基于优先级等级来调度AI工作负载。调度器接收AI工作负载，并且每个AI工作负载与指示在被执行时的抢占优先级的优先级等级相关联。AI工作负载基于优先级等级调度以在分配的节点集合上执行，然后基于调度执行。

公开(公告)号：CN117015763A

公开(公告)日：2023-11-07

申请号：CN202280022711.1

申请日：2022-03-08

Applicant: 微软技术许可有限责任公司

Inventor： D·K·舒克拉 ,  R·V·内赫姆 ,  P·沙玛 ,  S·辛格哈尔 ,  V·A·莫迪 ,  M·斯瓦塔努 ,  A·卡蒂亚

IPC: G06F9/50

Abstract: 本文中的公开内容描述了在云基础设施平台中管理人工智能(AI)工作负载。分布式基础设施资源集合经由本地支持接口集成到云基础设施平台中。从多个租户接收AI工作负载，其中AI工作负载包括训练工作负载和推理工作负载，并且分布式基础设施资源集合的资源子集被指派给所接收到的AI工作负载。所接收到的AI工作负载被调度用于在所指派的资源子集上执行并且基于对AI工作负载的调度，它们在所指派的资源子集上被执行。所描述的云基础设施平台为许多不同的租户提供了高效安全的AI工作负载执行，并且使得能够灵活使用广泛多种第三方基础设施资源和第一方基础设施资源。