公开(公告)号：CN104951372B

公开(公告)日：2018-07-31

申请号：CN201510335305.2

申请日：2015-06-16

Applicant: 北京工业大学

Inventor： 梁毅 ,  张辰 ,  陈翔 ,  詹静

IPC: G06F9/50 ,  G06F12/02

Abstract: 种基于预测的Map/Reduce数据处理平台内存资源动态分配方法,分配方法分为五个步骤,初始化、任务内存资源使用预测、任务内存资源释放、任务内存资源追加和回溯。本方法针对Map任务和Reduce任务在运行过程中内存资源使用量具有明显波动性的特征,根据Map任务和Reduce任务运行过程中的内存使用量历史记录,采用线性回归和t检验法,统计任务内存使用规律,预测任务后续运行中需要使用的内存量,并根据任务内存使用预测量,动态追加或减少正在运行的Map任务和Reduce任务的内存分配量,从而有效提高Map/Reduce平台内存资源的使用效率,提升Map/Reduce作业的执行效率。

公开(公告)号：CN104951372A

公开(公告)日：2015-09-30

申请号：CN201510335305.2

申请日：2015-06-16

Applicant: 北京工业大学

Inventor： 梁毅 ,  张辰 ,  陈翔 ,  詹静

IPC: G06F9/50 ,  G06F12/02

Abstract: 一种基于预测的Map/Reduce数据处理平台内存资源动态分配方法，分配方法分为五个步骤，初始化、任务内存资源使用预测、任务内存资源释放、任务内存资源追加和回溯。本方法针对Map任务和Reduce任务在运行过程中内存资源使用量具有明显波动性的特征，根据Map任务和Reduce任务运行过程中的内存使用量历史记录，采用线性回归和t检验法，统计任务内存使用规律，预测任务后续运行中需要使用的内存量，并根据任务内存使用预测量，动态追加或减少正在运行的Map任务和Reduce任务的内存分配量，从而有效提高Map/Reduce平台内存资源的使用效率，提升Map/Reduce作业的执行效率。