公开(公告)号：CN117099083A

公开(公告)日：2023-11-21

申请号：CN202280026592.7

申请日：2022-03-08

Applicant: 微软技术许可有限责任公司

Inventor： M·斯瓦塔努 ,  A·卡蒂亚 ,  D·K·舒克拉 ,  R·V·内赫姆 ,  S·辛格哈尔 ,  P·沙玛 ,  N·夸特拉 ,  R·拉姆基

IPC: G06F9/50

Abstract: 本文中的公开内容描述了在云基础设施平台中调度人工智能(AI)工作负载的执行。全局调度器接收与资源票据值关联的AI工作负载。调度器基于平衡资源票据值将AI工作负载分配到节点。节点的本地调度器基于AI工作负载的资源票据值在资源上调度AI工作负载。基于调度AI工作负载，本地调度器的协调器服务在节点的基础设施资源上执行分配的AI工作负载。本公开还描述了基于优先级等级来调度AI工作负载。调度器接收AI工作负载，并且每个AI工作负载与指示在被执行时的抢占优先级的优先级等级相关联。AI工作负载基于优先级等级调度以在分配的节点集合上执行，然后基于调度执行。

公开(公告)号：CN117015763A

公开(公告)日：2023-11-07

申请号：CN202280022711.1

申请日：2022-03-08

Applicant: 微软技术许可有限责任公司

Inventor： D·K·舒克拉 ,  R·V·内赫姆 ,  P·沙玛 ,  S·辛格哈尔 ,  V·A·莫迪 ,  M·斯瓦塔努 ,  A·卡蒂亚

IPC: G06F9/50

Abstract: 本文中的公开内容描述了在云基础设施平台中管理人工智能(AI)工作负载。分布式基础设施资源集合经由本地支持接口集成到云基础设施平台中。从多个租户接收AI工作负载，其中AI工作负载包括训练工作负载和推理工作负载，并且分布式基础设施资源集合的资源子集被指派给所接收到的AI工作负载。所接收到的AI工作负载被调度用于在所指派的资源子集上执行并且基于对AI工作负载的调度，它们在所指派的资源子集上被执行。所描述的云基础设施平台为许多不同的租户提供了高效安全的AI工作负载执行，并且使得能够灵活使用广泛多种第三方基础设施资源和第一方基础设施资源。