公开(公告)号：CN114706678B

公开(公告)日：2025-03-28

申请号：CN202210284033.8

申请日：2022-03-22

Applicant: 中南大学

Inventor： 王彦波 ,  张德宇 ,  张永敏 ,  吕丰 ,  张尧学

IPC: G06F9/50 ,  G06F9/48 ,  G06N5/04 ,  G06N3/084

Abstract: 本发明公开了一种边缘智能服务器神经网络推断任务调度方法，步骤包括：利用GPU虚拟化技术将GPU虚拟成多个虚拟GPU；按照预设的分配策略，为虚拟GPU分配预设的资源，用排队服务系统按照预设的执行批次，为每个推断任务的类别对应的虚拟GPU分配推断任务；收集每一类推断任务的平均服务延迟和计算资源量，判断是否需要调整分配策略，是则用强化学习算法计算新的分配策略；按照新的分配策略，为虚拟GPU分配对应的资源，用排队服务系统按照对应的执行批次，为每个任务的类别对应的虚拟GPU分配神经网络推断任务。本发明以较低的计算复杂度，满足动态场景的实时性要求，并且有效的解决了在较大规模的边缘计算场景中的负载均衡问题。

公开(公告)号：CN114706678A

公开(公告)日：2022-07-05

申请号：CN202210284033.8

申请日：2022-03-22

Applicant: 中南大学

Inventor： 王彦波 ,  张德宇 ,  张永敏 ,  吕丰 ,  张尧学

IPC: G06F9/50 ,  G06F9/48 ,  G06N3/08 ,  G06N5/04

Abstract: 本发明公开了一种边缘智能服务器神经网络推断任务调度方法，步骤包括：利用GPU虚拟化技术将GPU虚拟成多个虚拟GPU；按照预设的分配策略，为虚拟GPU分配预设的资源，用排队服务系统按照预设的执行批次，为每个推断任务的类别对应的虚拟GPU分配推断任务；收集每一类推断任务的平均服务延迟和计算资源量，判断是否需要调整分配策略，是则用强化学习算法计算新的分配策略；按照新的分配策略，为虚拟GPU分配对应的资源，用排队服务系统按照对应的执行批次，为每个任务的类别对应的虚拟GPU分配神经网络推断任务。本发明以较低的计算复杂度，满足动态场景的实时性要求，并且有效的解决了在较大规模的边缘计算场景中的负载均衡问题。