公开(公告)号：CN105740068A

公开(公告)日：2016-07-06

申请号：CN201610057234.9

申请日：2016-01-27

Applicant: 中国科学院计算技术研究所

Inventor： 王佳琪 ,  孙毓忠 ,  宋莹

IPC: G06F9/48 ,  G06F9/50

CPC classification number: G06F9/4843 ,  G06F9/5016

Abstract: 本发明提出面向大数据平台基于内存数据局部性的调度方法及系统，涉及大数据处理分布式计算任务调度领域，该方法包括周期性获取数据节点内存中缓存的数据块，并周期性向存储管理节点汇报所述数据节点的内存数据块信息；获取用户提交的作业，计算节点对所述作业进行分片，当所述计算节点填写作业分片信息时，将所述内存数据块信息写入所述作业分片信息中；所述计算节点根据所述作业分片信息创建待执行任务，为所述待执行任务进行资源申请请求，所述计算节点根据所述资源申请请求，将资源节点分配给所述待执行任务。本发明能够加快整体作业执行速度，对于降低作业执行时间具有重要的实际意义，具有良好的市场前景和应用价值。