公开(公告)号：CN108509280A

公开(公告)日：2018-09-07

申请号：CN201810367756.8

申请日：2018-04-23

Applicant: 南京大学

Inventor： 顾荣 ,  黄宜华 ,  黄凯旋

IPC: G06F9/50

Abstract: 本发明公开了一种基于推送模型的分布式计算集群本地性调度方法，包括以下步骤：第一步，各应用管理器为每个计算任务生成一个资源请求，发送给集群调度器；第二步，集群调度器对收到的资源请求进行分类；第三步，对分类好的资源请求进行剪枝处理；第四步，节点管理器通过心跳来触发调度；第五步，对于等待时间超过了最大延迟时间的资源请求，缓存到待推送的资源请求队列中；第六步，将待推送的资源请求主动推送到其数据所在的节点进行调度；第七步，降低推送失败的资源请求所要求的数据本地性。本发明可解决现有集群调度器在内存计算场景下本地性差的问题，提高数据本地性，同时解决长尾效应问题。

公开(公告)号：CN108509280B

公开(公告)日：2022-05-31

申请号：CN201810367756.8

申请日：2018-04-23

Applicant: 南京大学

Inventor： 顾荣 ,  黄宜华 ,  黄凯旋

IPC: G06F9/50

Abstract: 本发明公开了一种基于推送模型的分布式计算集群本地性调度方法，包括以下步骤：第一步，各应用管理器为每个计算任务生成一个资源请求，发送给集群调度器；第二步，集群调度器对收到的资源请求进行分类；第三步，对分类好的资源请求进行剪枝处理；第四步，节点管理器通过心跳来触发调度；第五步，对于等待时间超过了最大延迟时间的资源请求，缓存到待推送的资源请求队列中；第六步，将待推送的资源请求主动推送到其数据所在的节点进行调度；第七步，降低推送失败的资源请求所要求的数据本地性。本发明可解决现有集群调度器在内存计算场景下本地性差的问题，提高数据本地性，同时解决长尾效应问题。