公开(公告)号：CN118093130A

公开(公告)日：2024-05-28

申请号：CN202410227600.5

申请日：2024-02-29

Applicant: 中国科学技术大学

Inventor： 祝含颀 ,  张午阳 ,  张鑫燃 ,  陶子扬 ,  林欣蕊 ,  张昱 ,  吉建民 ,  张燕咏

IPC: G06F9/48 ,  G06F9/50

Abstract: 本公开属于GPU任务调度技术领域，具体涉及一种GPU任务调度中间件、方法及装置。其中所述方法应用于所述中间件，包括：在多个任务链中确定当前执行的任务链，在所述当前执行的任务链中获取所述GPU任务,将所述GPU任务映射到一个工作线程上，其中，所述任务链由执行特定功能所需的GPU任务组成，在所述中间件中，所有与GPU相关的工作线程被放置在同一个进程内；在所述工作线程上，根据第一预设策略确定是否执行所述GPU任务；当执行所述GPU任务时，基于调度逻辑获取实现所述GPU任务的GPU驱动以实现受控内核发射，其中，所述调度逻辑至少包括所述内核的优先级设定以及基于优先级的内核发射，内核分组发射和延迟发射。