公开(公告)号：CN117667336A

公开(公告)日：2024-03-08

申请号：CN202311276347.4

申请日：2023-09-30

Applicant: 哈尔滨工业大学

Inventor： 张伟哲 ,  田雪洋 ,  郝萌 ,  何慧 ,  李璇 ,  杨洪伟

IPC: G06F9/48 ,  G06F9/50 ,  G06F9/54 ,  G06N5/04 ,  G06N3/0442 ,  G06N3/092

Abstract: 一种面向GPU系统深度学习推理的能效感知自适应调度方法及系统，涉及GPU系统深度学习技术领域。本发明的目的是为了提高GPU推理过程中的能耗效率，根据GPU当前环境，自适应地选择当前最合适的批处理大小和GPU频率大小来降低GPU推理的能耗，最终做到能效的最大化。能效自适应调度器根据波动的工作负载自适应地协调批处理大小和GPU核心频率大小，并使用强化学习算法训练模型以在满足延迟SLO的同时降低延迟和深度学习推理服务的能耗：智能体在每一时刻，根据环境的状态，依据一定的策略选择一个动作，然后环境依据一定的状态转移概率转移到下一个状态，与此同时根据此时状态的好坏反馈给智能体一个奖励；智能体根据环境的反馈调整其策略，然后继续在环境中探索，最终学习到一个能够获得最多奖励的最优策略，最终实现能效感知自适应调度。