公开(公告)号：CN104317650A

公开(公告)日：2015-01-28

申请号：CN201410531590.0

申请日：2014-10-10

Applicant: 北京工业大学

Inventor： 梁毅 ,  王玉凤 ,  樊明璐 ,  张辰

IPC: G06F9/48 ,  G06F9/50

Abstract: 一种面向Map/Reduce型海量数据处理平台的作业调度方法，属于海量数据处理领域，特别涉及Map/Reduce型海量数据处理平台中的作业调度和资源管理。本发明提出一种基于Reduce任务资源抢占的Map/Reduce作业调度方法，实现在Reduce任务处于空闲等待时，将其所占用的计算资源分配给Map任务使用。本发明主要包括：抢占资源、作业调度模块、应用管理模块、任务执行模块、节点管理模块、任务挂起与恢复方法、面向抢占资源的作业调度方法。本发明可以应用于数据中心的作业调度和资源管理，通过对于Map/Reduce作业中Reduce任务的抢占调度，实现数据中心计算资源的合理分配，提高计算资源利用率，同时缩短作业运行时间。

公开(公告)号：CN104317650B

公开(公告)日：2018-05-01

申请号：CN201410531590.0

申请日：2014-10-10

Applicant: 北京工业大学

Inventor： 梁毅 ,  王玉凤 ,  樊明璐 ,  张辰

IPC: G06F9/48 ,  G06F9/50

Abstract: 一种面向Map/Reduce型海量数据处理平台的作业调度方法，属于海量数据处理领域，特别涉及Map/Reduce型海量数据处理平台中的作业调度和资源管理。本发明提出一种基于Reduce任务资源抢占的Map/Reduce作业调度方法，实现在Reduce任务处于空闲等待时，将其所占用的计算资源分配给Map任务使用。本发明主要包括：抢占资源、作业调度模块、应用管理模块、任务执行模块、节点管理模块、任务挂起与恢复方法、面向抢占资源的作业调度方法。本发明可以应用于数据中心的作业调度和资源管理，通过对于Map/Reduce作业中Reduce任务的抢占调度，实现数据中心计算资源的合理分配，提高计算资源利用率，同时缩短作业运行时间。