公开(公告)号：CN113626192B

公开(公告)日：2024-11-22

申请号：CN202110912385.9

申请日：2021-08-10

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 左凌轩 ,  杨健章 ,  梁义 ,  王东旭 ,  周家英 ,  陈天熠 ,  于中春 ,  阮若夷

IPC: G06F9/50 ,  G06F9/48

Abstract: 本说明书实施例提供了一种用于对算子节点进行扩缩容调整的方法、装置及系统。在该方法中，响应于根据实时数据流所确定出的待调整并发算子节点，控制节点根据待调整并发算子节点的上下游算子节点构造算子节点拓扑图；控制节点向算子节点拓扑图中有调整的各个算子节点发送针对该算子节点的图状态更新信息，以使所述有调整的各个算子节点更新连接；控制节点向算子节点拓扑图中的源算子节点发送调整标识信息；在各个算子节点处，根据该算子节点与上下游算子节点的连接来获取调整标识信息，以基于调整标识信息进行算子节点的状态调整；以及控制节点响应于接收调整标识信息，向各个算子节点发送调整完成信息，以通知算子节点拓扑图完成。

公开(公告)号：CN112000453B

公开(公告)日：2024-06-28

申请号：CN202010863249.0

申请日：2020-08-25

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 陈天熠 ,  左凌轩 ,  杨健章 ,  王东旭 ,  梁义 ,  方丰斌 ,  周家英 ,  于中春

IPC: G06F9/48 ,  G06F9/50

Abstract: 本说明书实施例公开了一种流计算系统的调度方法和系统。所述流计算系统包括多个工作节点，所述方法包括：确定目标工作节点；获取反映所述目标工作节点相关局部作业流程的局部作业图；基于调度信息更新所述局部作业图，其中，所述调度信息包括工作节点的增加或删除，和/或局部作业流程的变更；基于所述更新后的局部作业图生成第一控制信息；发送所述第一控制信息至所述更新后的局部作业图所涉及的工作节点，以使所述更新后的局部作业图所涉及的工作节点基于所述第一控制信息修改其上游和/或下游的工作节点信息，从而完成调度。以使流计算系统具备高效的流作业调度方法，以提高流计算系统处理数据的效率。

公开(公告)号：CN112000453A

公开(公告)日：2020-11-27

申请号：CN202010863249.0

申请日：2020-08-25

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 陈天熠 ,  左凌轩 ,  杨健章 ,  王东旭 ,  梁义 ,  方丰斌 ,  周家英 ,  于中春

IPC: G06F9/48 ,  G06F9/50

Abstract: 本说明书实施例公开了一种流计算系统的调度方法和系统。所述流计算系统包括多个工作节点，所述方法包括：确定目标工作节点；获取反映所述目标工作节点相关局部作业流程的局部作业图；基于调度信息更新所述局部作业图，其中，所述调度信息包括工作节点的增加或删除，和/或局部作业流程的变更；基于所述更新后的局部作业图生成第一控制信息；发送所述第一控制信息至所述更新后的局部作业图所涉及的工作节点，以使所述更新后的局部作业图所涉及的工作节点基于所述第一控制信息修改其上游和/或下游的工作节点信息，从而完成调度。以使流计算系统具备高效的流作业调度方法，以提高流计算系统处理数据的效率。

公开(公告)号：CN118916206A

公开(公告)日：2024-11-08

申请号：CN202411108194.7

申请日：2024-08-12

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 左凌轩 ,  于中春 ,  肖豹 ,  孙小军 ,  陈天熠 ,  杨潇峰 ,  胡洪卫

IPC: G06F11/07 ,  G06F21/62 ,  G06F9/50

Abstract: 本说明书实施例提供了一种任务故障的分级恢复方法、装置及系统。当第一引擎终端中的第一任务状态异常时，第一引擎终端自身首先分别进行线程、进程级别的任务重试，如果第一任务仍然状态异常，则通过服务平台在同一中心机房的另一集群中确定能够执行第一任务的第二引擎终端，通过第二引擎终端重新执行第一任务。如果第一任务在第二引擎终端中仍然状态异常，则服务平台在第二中心机房中确定能够执行第一任务的第三引擎终端，通过第三引擎终端重新执行第一任务。通过分级的任务恢复方式逐级向上层的引擎终端尝试恢复任务。在任务恢复的过程中需要保护租户的隐私数据不泄露。

公开(公告)号：CN113626192A

公开(公告)日：2021-11-09

申请号：CN202110912385.9

申请日：2021-08-10

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 左凌轩 ,  杨健章 ,  梁义 ,  王东旭 ,  周家英 ,  陈天熠 ,  于中春 ,  阮若夷

IPC: G06F9/50 ,  G06F9/48

Abstract: 本说明书实施例提供了一种用于对算子节点进行扩缩容调整的方法、装置及系统。在该方法中，响应于根据实时数据流所确定出的待调整并发算子节点，控制节点根据待调整并发算子节点的上下游算子节点构造算子节点拓扑图；控制节点向算子节点拓扑图中有调整的各个算子节点发送针对该算子节点的图状态更新信息，以使所述有调整的各个算子节点更新连接；控制节点向算子节点拓扑图中的源算子节点发送调整标识信息；在各个算子节点处，根据该算子节点与上下游算子节点的连接来获取调整标识信息，以基于调整标识信息进行算子节点的状态调整；以及控制节点响应于接收调整标识信息，向各个算子节点发送调整完成信息，以通知算子节点拓扑图完成。