-
公开(公告)号:CN117667336A
公开(公告)日:2024-03-08
申请号:CN202311276347.4
申请日:2023-09-30
Applicant: 哈尔滨工业大学
Abstract: 一种面向GPU系统深度学习推理的能效感知自适应调度方法及系统,涉及GPU系统深度学习技术领域。本发明的目的是为了提高GPU推理过程中的能耗效率,根据GPU当前环境,自适应地选择当前最合适的批处理大小和GPU频率大小来降低GPU推理的能耗,最终做到能效的最大化。能效自适应调度器根据波动的工作负载自适应地协调批处理大小和GPU核心频率大小,并使用强化学习算法训练模型以在满足延迟SLO的同时降低延迟和深度学习推理服务的能耗:智能体在每一时刻,根据环境的状态,依据一定的策略选择一个动作,然后环境依据一定的状态转移概率转移到下一个状态,与此同时根据此时状态的好坏反馈给智能体一个奖励;智能体根据环境的反馈调整其策略,然后继续在环境中探索,最终学习到一个能够获得最多奖励的最优策略,最终实现能效感知自适应调度。