-
公开(公告)号：CN110221909B
公开(公告)日：2023-01-17
申请号：CN201910510535.6
申请日：2019-06-13
Applicant: 东北大学
Abstract: 本发明提出一种基于负载预测的Hadoop计算任务推测执行方法，包括：资源管理器对备份任务数自适应调整，得到最大备份任务数；预测执行任务完成时间；将最大备份任务数与APPmaster设置的备份任务数比较，取最小值作为备份任务数阈值；判断备份任务数是否小于等于备份任务数阈值；判断任务数是否小于总任务数；预测备份任务完成时间；判断备份任务完成时间和执行任务完成时间大小，确定是否开启备份；本发明保证了当集群计算资源紧张的情况下，备份任务的开启不会对其他作业产生影响；执行任务的完成时间预测算法，有效避免了迟滞任务的误判导致计算资源浪费；备份任务完成时间预测算法，节约计算节点的计算资源，减少作业的完成时间，提高了集群的整体性能。
-
Patent Agency Ranking
公开(公告)号：CN110149237B
公开(公告)日：2021-06-22
申请号：CN201910510953.5
申请日：2019-06-13
Applicant: 东北大学
Abstract: 本发明提出一种Hadoop平台计算节点负载预测方法，包括：基于滑动窗口二次检测算法的数据预处理方法；基于ARIMA算法的节点负载线性预测方法；基于RNN算法的节点负载非线性残差预测方法；将ARIMA算法与RNN算法预测出来的结果进行线性相加作为最终的预测结果；本发明通过对各个结算节点历史数据的分析，可以提取有价值的信息，进而合理预测下一时间段内的计算节点的负载，精确预测计算节点的负载可以为资源管理器合理地给AppMaster分配资源提供依据，进而缓解高负载节点的压力，提升低负载节点的计算资源利用率，提高Hadoop集群的可靠性和性能。本发明通过ARIMA和RNN模型组合，更加精确的对负载进行预测。
-
公开(公告)号：CN110262897A
公开(公告)日：2019-09-20
申请号：CN201910510964.3
申请日：2019-06-13
Applicant: 东北大学
IPC: G06F9/50
Abstract: 本发明提出一种基于负载预测的Hadoop计算任务初始分配方法，包括：使用延迟调度策略的AppMaster选择方法，开启AppMaster；基于BP神经网络的节点，计算资源分配数量；使用DRF算法的用户队列和用户作业选择方法，开启子任务；本发明基于延迟调度策略的AppMaster选择算法，提高了AppMaster运行时的稳定性，保证了作业的正常运行。基于BP神经网络的节点计算资源分配算法，减少高负载标签计算节点分配的任务量，增加低负载标签计算节点分配的任务量，提高了集群整体的稳定性和性能。基于DRF的用户队列和用户作业选择算法，当作业所属的队列资源不够时，根据占主导地位的计算资源使用情况来选择叶子队列和用户作业，最终达到合理化计算任务初始分配，均衡集群负载，提高集群性能的目标。
-
公开(公告)号：CN110221909A
公开(公告)日：2019-09-10
申请号：CN201910510535.6
申请日：2019-06-13
Applicant: 东北大学
Abstract: 本发明提出一种基于负载预测的Hadoop计算任务推测执行方法，包括：资源管理器对备份任务数自适应调整，得到最大备份任务数；预测执行任务完成时间；将最大备份任务数与APPmaster设置的备份任务数比较，取最小值作为备份任务数阈值；判断备份任务数是否小于等于备份任务数阈值；判断任务数是否小于总任务数；预测备份任务完成时间；判断备份任务完成时间和执行任务完成时间大小，确定是否开启备份；本发明保证了当集群计算资源紧张的情况下，备份任务的开启不会对其他作业产生影响；执行任务的完成时间预测算法，有效避免了迟滞任务的误判导致计算资源浪费；备份任务完成时间预测算法，节约计算节点的计算资源，减少作业的完成时间，提高了集群的整体性能。
-
公开(公告)号：CN110149237A
公开(公告)日：2019-08-20
申请号：CN201910510953.5
申请日：2019-06-13
Applicant: 东北大学
Abstract: 本发明提出一种Hadoop平台计算节点负载预测方法，包括：基于滑动窗口二次检测算法的数据预处理方法；基于ARIMA算法的节点负载线性预测方法；基于RNN算法的节点负载非线性残差预测方法；将ARIMA算法与RNN算法预测出来的结果进行线性相加作为最终的预测结果；本发明通过对各个结算节点历史数据的分析，可以提取有价值的信息，进而合理预测下一时间段内的计算节点的负载，精确预测计算节点的负载可以为资源管理器合理地给AppMaster分配资源提供依据，进而缓解高负载节点的压力，提升低负载节点的计算资源利用率，提高Hadoop集群的可靠性和性能。本发明通过ARIMA和RNN模型组合，更加精确的对负载进行预测。
-
公开(公告)号：CN110262897B
公开(公告)日：2023-01-31
申请号：CN201910510964.3
申请日：2019-06-13
Applicant: 东北大学
IPC: G06F9/50
Abstract: 本发明提出一种基于负载预测的Hadoop计算任务初始分配方法，包括：使用延迟调度策略的AppMaster选择方法，开启AppMaster；基于BP神经网络的节点，计算资源分配数量；使用DRF算法的用户队列和用户作业选择方法，开启子任务；本发明基于延迟调度策略的AppMaster选择算法，提高了AppMaster运行时的稳定性，保证了作业的正常运行。基于BP神经网络的节点计算资源分配算法，减少高负载标签计算节点分配的任务量，增加低负载标签计算节点分配的任务量，提高了集群整体的稳定性和性能。基于DRF的用户队列和用户作业选择算法，当作业所属的队列资源不够时，根据占主导地位的计算资源使用情况来选择叶子队列和用户作业，最终达到合理化计算任务初始分配，均衡集群负载，提高集群性能的目标。
-
-
-
-
-
Search Results
6
records
(took 0.018 seconds)
