一种偏斜数据流的本发明实施例提供的方法及系统

    公开(公告)号:CN114900525A

    公开(公告)日:2022-08-12

    申请号:CN202210549459.1

    申请日:2022-05-20

    Inventor: 孙大为 杨志虹

    Abstract: 本发明提供一种偏斜数据流的本发明实施例提供的方法及系统,方法包括:获取处理所需的数据;根据数据为节点提交任务;节点执行上游不断提交的任务,根据任务的类型对提交的任务分不同处理方法进行处理;其中,不同处理方法包括:负载迁移步骤:对负载产生偏斜的集群动态分配资源,直到负载恢复到合理范围内;数据分发步骤:根据负载范围的不同对负载进行分组,存放各阶段产生的关键任务和各节点间由于负载差异需要调节的资源;时钟监控步骤:定期对集群负载进行一次判断,确定是否需要对集群负载进行均衡处理,确保在处理任务时不会出现不均匀的负载。本发明使负载平衡度大幅度降低,在恢复系统负载均衡的同时改善系统性能。

Patent Agency Ranking