-
公开(公告)号:CN112000453B
公开(公告)日:2024-06-28
申请号:CN202010863249.0
申请日:2020-08-25
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例公开了一种流计算系统的调度方法和系统。所述流计算系统包括多个工作节点,所述方法包括:确定目标工作节点;获取反映所述目标工作节点相关局部作业流程的局部作业图;基于调度信息更新所述局部作业图,其中,所述调度信息包括工作节点的增加或删除,和/或局部作业流程的变更;基于所述更新后的局部作业图生成第一控制信息;发送所述第一控制信息至所述更新后的局部作业图所涉及的工作节点,以使所述更新后的局部作业图所涉及的工作节点基于所述第一控制信息修改其上游和/或下游的工作节点信息,从而完成调度。以使流计算系统具备高效的流作业调度方法,以提高流计算系统处理数据的效率。
-
公开(公告)号:CN112000453A
公开(公告)日:2020-11-27
申请号:CN202010863249.0
申请日:2020-08-25
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例公开了一种流计算系统的调度方法和系统。所述流计算系统包括多个工作节点,所述方法包括:确定目标工作节点;获取反映所述目标工作节点相关局部作业流程的局部作业图;基于调度信息更新所述局部作业图,其中,所述调度信息包括工作节点的增加或删除,和/或局部作业流程的变更;基于所述更新后的局部作业图生成第一控制信息;发送所述第一控制信息至所述更新后的局部作业图所涉及的工作节点,以使所述更新后的局部作业图所涉及的工作节点基于所述第一控制信息修改其上游和/或下游的工作节点信息,从而完成调度。以使流计算系统具备高效的流作业调度方法,以提高流计算系统处理数据的效率。
-
公开(公告)号:CN110795151A
公开(公告)日:2020-02-14
申请号:CN201910948545.8
申请日:2019-10-08
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F9/38
Abstract: 本说明书实施例公开了一种算子并发度调整方法、装置和设备。在一个实施例中,该方法应用于流计算系统中的控制节点,流计算系统包括控制节点和至少一个工作节点,工作节点上分布有至少一个算子,包括:接收工作节点上的算子的运行指标,运行指标用于表征算子的数据处理能力;基于算子的运行指标,确定需要进行并发度调整的目标算子的并发度调整策略;向目标工作节点发送并发度调整策略,以使目标工作节点调整目标算子的并发度,目标工作节点包括待新增目标算子所分布的工作节点和待停止目标算子所分布的工作节点中的至少一种。
-
公开(公告)号:CN110730219A
公开(公告)日:2020-01-24
申请号:CN201910912688.3
申请日:2019-09-25
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例公开了一种IO请求处理方法。所述方法包括:从IO客户端获取IO请求,所述IO请求至少包括与所述IO请求对应的下游设备的识别信息;根据所述下游设备的识别信息从IO服务器获取与所述IO请求对应的下游设备的状态信息;至少基于所述与IO请求对应的下游设备的状态信息,判断所述IO请求能否被所述下游设备响应,得到判断结果;以及根据所述判断结果执行相应的IO请求处理策略。
-
-
-