公开(公告)号：CN114138494A

公开(公告)日：2022-03-04

申请号：CN202111478190.4

申请日：2021-12-06

Applicant: 昆明理工大学

Inventor： 付晓东 ,  胡林发 ,  刘骊 ,  刘利军 ,  彭玮 ,  丁家满

IPC: G06F9/50

Abstract: 本发明涉及一种结合节点计算能力的负载均衡方法，属于大数据集群调度技术领域。本发明首先通过抽样方法获取中间数据关键字的频次和位置，然后根据汇总的关键字信息，结合计算节点的计算能力和数据传输开销，制定中间数据的分区计划，最后在运行计算任务时，使用缓存的分区计划生成分区策略，将中间数据划分到不同Reduce分区，得出计算结果。本发明提高了集群的资源利用率，同时降低了数据传输过程中的网络开销，提升了Hadoop集群分布式计算性能。

公开(公告)号：CN114138494B

公开(公告)日：2024-05-10

申请号：CN202111478190.4

申请日：2021-12-06

Applicant: 昆明理工大学

Inventor： 付晓东 ,  胡林发 ,  刘骊 ,  刘利军 ,  彭玮 ,  丁家满

IPC: G06F9/50

Abstract: 本发明涉及一种结合节点计算能力的负载均衡方法，属于大数据集群调度技术领域。本发明首先通过抽样方法获取中间数据关键字的频次和位置，然后根据汇总的关键字信息，结合计算节点的计算能力和数据传输开销，制定中间数据的分区计划，最后在运行计算任务时，使用缓存的分区计划生成分区策略，将中间数据划分到不同Reduce分区，得出计算结果。本发明提高了集群的资源利用率，同时降低了数据传输过程中的网络开销，提升了Hadoop集群分布式计算性能。