-
公开(公告)号:CN105653357A
公开(公告)日:2016-06-08
申请号:CN201410635768.6
申请日:2014-11-11
IPC: G06F9/48
Abstract: 本发明实施例公开了一种在线Hadoop集群调度管理的方法和装置,涉及集群调度领域。所述方法包括步骤:计算出到达在线作业的Map和Reduce阶段的持续时间(在线作业持续到达,直到全部在线作业到达);为每个在线作业分配系统可用的最大资源;将新的结果提交给调度系统;系统分配给任务所需的重新计算的MapReduce资源数量,进行任务处理。本发明适用于对在线Hadoop集群节点的动态调度管理,且在每个在线作业的执行期间,为其分配系统最大的可用资源,进而能够最小化在线总完工时间。