基于待释放资源列表的MapReduce任务推测执行方法和装置

    公开(公告)号:CN105138405A

    公开(公告)日:2015-12-09

    申请号:CN201510477121.X

    申请日:2015-08-06

    Applicant: 湖南大学

    Abstract: 本发明公开了一种异构环境下基于待释放资源列表的MapReduce任务推测执行方法和装置,描述了在作业的执行过程中,空闲资源向主节点提交任务请求。如果当前作业存在沿未开始运行的任务,则从尚未开始运行的任务中选择一个任务在空闲资源上执行,算法结束。否则通过记录的作业执行信息,生成作业的慢任务列表。如果慢任务列表大小为0,则表明没有慢任务,不需要进行推测执行,算法结束。否则继续生成待释放资源列表。假设慢任务列表大小为N,待释放资源列表大小为M,根据本发明的备份任务选择算法,选择任务M分配给申请任务的资源,算法结束。本发明相比传统推测执行算法能够找到使慢任务更快完成的资源,从而提高执行效率。

    基于待释放资源列表的MapReduce任务推测执行方法和装置

    公开(公告)号:CN105138405B

    公开(公告)日:2019-05-14

    申请号:CN201510477121.X

    申请日:2015-08-06

    Applicant: 湖南大学

    Abstract: 本发明公开了一种异构环境下基于待释放资源列表的MapReduce任务推测执行方法和装置,描述了在作业的执行过程中,空闲资源向主节点提交任务请求。如果当前作业存在沿未开始运行的任务,则从尚未开始运行的任务中选择一个任务在空闲资源上执行,算法结束。否则通过记录的作业执行信息,生成作业的慢任务列表。如果慢任务列表大小为0,则表明没有慢任务,不需要进行推测执行,算法结束。否则继续生成待释放资源列表。假设慢任务列表大小为N,待释放资源列表大小为M,根据本发明的备份任务选择算法,选择任务M分配给申请任务的资源,算法结束。本发明相比传统推测执行算法能够找到使慢任务更快完成的资源,从而提高执行效率。

Patent Agency Ranking