-
公开(公告)号：CN112000453B
公开(公告)日：2024-06-28
申请号：CN202010863249.0
申请日：2020-08-25
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例公开了一种流计算系统的调度方法和系统。所述流计算系统包括多个工作节点，所述方法包括：确定目标工作节点；获取反映所述目标工作节点相关局部作业流程的局部作业图；基于调度信息更新所述局部作业图，其中，所述调度信息包括工作节点的增加或删除，和/或局部作业流程的变更；基于所述更新后的局部作业图生成第一控制信息；发送所述第一控制信息至所述更新后的局部作业图所涉及的工作节点，以使所述更新后的局部作业图所涉及的工作节点基于所述第一控制信息修改其上游和/或下游的工作节点信息，从而完成调度。以使流计算系统具备高效的流作业调度方法，以提高流计算系统处理数据的效率。
-
公开(公告)号：CN112000453A
公开(公告)日：2020-11-27
申请号：CN202010863249.0
申请日：2020-08-25
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例公开了一种流计算系统的调度方法和系统。所述流计算系统包括多个工作节点，所述方法包括：确定目标工作节点；获取反映所述目标工作节点相关局部作业流程的局部作业图；基于调度信息更新所述局部作业图，其中，所述调度信息包括工作节点的增加或删除，和/或局部作业流程的变更；基于所述更新后的局部作业图生成第一控制信息；发送所述第一控制信息至所述更新后的局部作业图所涉及的工作节点，以使所述更新后的局部作业图所涉及的工作节点基于所述第一控制信息修改其上游和/或下游的工作节点信息，从而完成调度。以使流计算系统具备高效的流作业调度方法，以提高流计算系统处理数据的效率。
-
公开(公告)号：CN110827072A
公开(公告)日：2020-02-21
申请号：CN201911052330.4
申请日：2019-10-31
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06Q30/02 , G06F16/22 , G06F16/248
Abstract: 本申请公开了一种数据查询、存储方法及系统。数据存储方法包括：当约定事件被触发时，从存储设备读取一个位图，其中，每一个所述位图用于存储一段时间内所述约定事件被触发的信息，所述位图中每一个比特位对应在一个约定时间所述约定事件是否被触发；根据所述约定事件被触发的时间计算需要操作的比特位在所述位图中的位置，将所述位图中该位置的比特位设置为代表所述约定事件被触发的值；将修改后的位图写回所述存储设备，替换修改前的位图。
-
公开(公告)号：CN113626192B
公开(公告)日：2024-11-22
申请号：CN202110912385.9
申请日：2021-08-10
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供了一种用于对算子节点进行扩缩容调整的方法、装置及系统。在该方法中，响应于根据实时数据流所确定出的待调整并发算子节点，控制节点根据待调整并发算子节点的上下游算子节点构造算子节点拓扑图；控制节点向算子节点拓扑图中有调整的各个算子节点发送针对该算子节点的图状态更新信息，以使所述有调整的各个算子节点更新连接；控制节点向算子节点拓扑图中的源算子节点发送调整标识信息；在各个算子节点处，根据该算子节点与上下游算子节点的连接来获取调整标识信息，以基于调整标识信息进行算子节点的状态调整；以及控制节点响应于接收调整标识信息，向各个算子节点发送调整完成信息，以通知算子节点拓扑图完成。
-
公开(公告)号：CN112015561B
公开(公告)日：2024-07-30
申请号：CN202010974346.7
申请日：2020-09-16
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书的实施例提供了用于流式计算服务的方法、装置、计算设备、机器可读存储介质和系统。该方法包括：确定待分配的M个消息队列分区；基于一致性哈希算法，将M个消息队列分区映射到一致性哈希环上；基于M个消息队列分区的映射结果，将M个消息队列分区分别分配给流式计算集群中的N个计算节点中的相应的计算节点，以便由相应的计算节点处理相应的消息队列分区中的消息，其中，N个计算节点基于一致性哈希算法被映射到一致性哈希环上。
-
Patent Agency Ranking
公开(公告)号：CN110795151A
公开(公告)日：2020-02-14
申请号：CN201910948545.8
申请日：2019-10-08
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F9/38
Abstract: 本说明书实施例公开了一种算子并发度调整方法、装置和设备。在一个实施例中，该方法应用于流计算系统中的控制节点，流计算系统包括控制节点和至少一个工作节点，工作节点上分布有至少一个算子，包括：接收工作节点上的算子的运行指标，运行指标用于表征算子的数据处理能力；基于算子的运行指标，确定需要进行并发度调整的目标算子的并发度调整策略；向目标工作节点发送并发度调整策略，以使目标工作节点调整目标算子的并发度，目标工作节点包括待新增目标算子所分布的工作节点和待停止目标算子所分布的工作节点中的至少一种。
-
公开(公告)号：CN113626192A
公开(公告)日：2021-11-09
申请号：CN202110912385.9
申请日：2021-08-10
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供了一种用于对算子节点进行扩缩容调整的方法、装置及系统。在该方法中，响应于根据实时数据流所确定出的待调整并发算子节点，控制节点根据待调整并发算子节点的上下游算子节点构造算子节点拓扑图；控制节点向算子节点拓扑图中有调整的各个算子节点发送针对该算子节点的图状态更新信息，以使所述有调整的各个算子节点更新连接；控制节点向算子节点拓扑图中的源算子节点发送调整标识信息；在各个算子节点处，根据该算子节点与上下游算子节点的连接来获取调整标识信息，以基于调整标识信息进行算子节点的状态调整；以及控制节点响应于接收调整标识信息，向各个算子节点发送调整完成信息，以通知算子节点拓扑图完成。
-
公开(公告)号：CN112015561A
公开(公告)日：2020-12-01
申请号：CN202010974346.7
申请日：2020-09-16
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书的实施例提供了用于流式计算服务的方法、装置、计算设备、机器可读存储介质和系统。该方法包括：确定待分配的M个消息队列分区；基于一致性哈希算法，将M个消息队列分区映射到一致性哈希环上；基于M个消息队列分区的映射结果，将M个消息队列分区分别分配给流式计算集群中的N个计算节点中的相应的计算节点，以便由相应的计算节点处理相应的消息队列分区中的消息，其中，N个计算节点基于一致性哈希算法被映射到一致性哈希环上。
-
公开(公告)号：CN111523098A
公开(公告)日：2020-08-11
申请号：CN202010296131.4
申请日：2020-04-15
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F21/31
Abstract: 本说明书一个或多个实施例公开了一种数据权限管理方法及装置，用以解决现有技术中数据安全管控不准确的问题。所述方法包括：接收用户发送的数据操作请求，所述数据操作请求用于请求对目标数据集中的第一列数据执行第一操作，所述目标数据集包括多个列数据，各所述列数据对应各自的安全等级。基于所述数据操作请求，获取所述用户对应的数据操作权限信息和/或所述第一列数据的安全等级。根据所述数据操作权限信息和/或所述安全等级，鉴定所述用户对所述第一列数据执行所述第一操作的权限，得到鉴权结果。根据所述鉴权结果，确定是否允许所述用户对所述第一列数据执行所述第一操作。
-
公开(公告)号：CN110730219A
公开(公告)日：2020-01-24
申请号：CN201910912688.3
申请日：2019-09-25
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例公开了一种IO请求处理方法。所述方法包括：从IO客户端获取IO请求，所述IO请求至少包括与所述IO请求对应的下游设备的识别信息；根据所述下游设备的识别信息从IO服务器获取与所述IO请求对应的下游设备的状态信息；至少基于所述与IO请求对应的下游设备的状态信息，判断所述IO请求能否被所述下游设备响应，得到判断结果；以及根据所述判断结果执行相应的IO请求处理策略。
-
-
-
-
-
-
-
-
-
Search Results
10
records
(took 0.041 seconds)
