-
公开(公告)号:CN113826084B
公开(公告)日:2024-10-08
申请号:CN202080036571.4
申请日:2020-04-23
Applicant: 微软技术许可有限责任公司
IPC: G06F12/0868 , G06F12/0804 , G06F16/27
Abstract: 提供了用于处理数据流的方法、系统、装置和计算机程序产品。针对从多个上游分区被冲刷到数据存储库的数据建立最大时间分散度。每个与上游分区对应的多个数据冲刷器中的每个数据冲刷器可以从数据产生方获取数据项。每个数据冲刷器可以确定将数据冲刷到数据存储库是否会超过最大时间分散度。至少基于确定将数据冲刷到数据存储库不会超过最大时间分散度,可以将数据冲刷到数据存储库以供下游分区摄取,并且数据结构(例如,账本)可以被更新为指示与被冲刷到数据存储库的最近的数据项相关联的时间。
-
公开(公告)号:CN114503441A
公开(公告)日:2022-05-13
申请号:CN202080069815.9
申请日:2020-08-18
Applicant: 微软技术许可有限责任公司
Abstract: 本文描述了一种用于编码流数据以便于从故障的或慢速的(多个)处理器中恢复的系统和方法。可以将一批处理流数据分割成多个数据块。(多个)奇偶校验块用于多个数据块。可以将多个数据块和(多个)奇偶校验块提供给处理器进行处理。接收多个数据块中的至少一些(例如,一个或多个)数据块的经处理的数据以及(多个)奇偶校验块的经处理的数据。当确定在预定义时间段内针对预定义数量的数据块的经处理的数据尚未被接收到时,至少部分地基于接收到的经处理的(多个)奇偶校验块和接收到的经处理的(多个)数据块,来确定针对没有从其接收到经处理的数据的(多个)特定处理器的(多个)特定数据块的经处理的数据。
-
公开(公告)号:CN113826084A
公开(公告)日:2021-12-21
申请号:CN202080036571.4
申请日:2020-04-23
Applicant: 微软技术许可有限责任公司
IPC: G06F12/0868 , G06F12/0804 , G06F16/27
Abstract: 提供了用于处理数据流的方法、系统、装置和计算机程序产品。针对从多个上游分区被冲刷到数据存储库的数据建立最大时间分散度。每个与上游分区对应的多个数据冲刷器中的每个数据冲刷器可以从数据产生方获取数据项。每个数据冲刷器可以确定将数据冲刷到数据存储库是否会超过最大时间分散度。至少基于确定将数据冲刷到数据存储库不会超过最大时间分散度,可以将数据冲刷到数据存储库以供下游分区摄取,并且数据结构(例如,账本)可以被更新为指示与被冲刷到数据存储库的最近的数据项相关联的时间。
-
公开(公告)号:CN112805978B
公开(公告)日:2023-05-26
申请号:CN201980063775.4
申请日:2019-06-26
Applicant: 微软技术许可有限责任公司
IPC: H04L65/61 , H04L65/80 , H04L65/60 , H04L67/566 , H04L67/62 , G06F9/4401 , G06F16/2455
Abstract: 本文中描述了用于针对流处理的启动和/或恢复的系统和方法。在启动阶段期间:各自标识特定时间的(多个)启动锚请求被累积,直到来自下游节点的(多个)请求未决。所累积的(多个)启动锚请求的最小时间被确定。如果处理系统是输入节点,则与所确定的最小时间相关联的锚被生成。否则,标识所确定的最小时间的启动锚请求被提供给上游节点。一旦与所确定的最小时间相关联的锚被接收到(或生成),锚就响应于来自下游节点的、针对所确定的最小值的所轮询的启动锚请求锚而被提供。在恢复阶段期间,针对由两个特定锚界定的成批数据的异步请求根据被存储在有序锚集合中的信息而被执行。
-
公开(公告)号:CN114341834A
公开(公告)日:2022-04-12
申请号:CN202080026860.6
申请日:2020-03-26
Applicant: 微软技术许可有限责任公司
IPC: G06F16/2455 , G06F16/2458
Abstract: 一种用于将事件流与参考数据联接的方法,包括:将来自参考数据源的多个参考数据快照加载到高速缓存中。供应标点事件,该标点事件指示针对高速缓存中的多个参考数据快照的时间有效性。基于标点事件,提供逻辑屏障以限制事件流中的数据事件向高速缓存查找操作的流动。关于事件流中被允许越过逻辑屏障的数据事件执行高速缓存查找操作。
-
公开(公告)号:CN113924554A
公开(公告)日:2022-01-11
申请号:CN202080040034.7
申请日:2020-04-23
Applicant: 微软技术许可有限责任公司
IPC: G06F9/50
Abstract: 本文描述了一种方法、系统和计算机程序产品,用于具有无损一次性数据流处理的自动化云边缘工作负载分布和双向迁移。云服务可以提供云和边缘之间的工作负载和双向迁移管理,以在迁移之前和之后提供数据流的一次性处理。迁移逻辑节点可以开始处理数据流,其中处理在迁移之前在源逻辑节点处停止而没有数据丢失或重复,例如通过在基于拉取的流处理中迁移和使用锚。实现数据流的客户查询的查询逻辑可以基于放置准则被分布到边缘和/或云设备。查询逻辑可以基于迁移准则从源迁移向目标边缘和/或云设备。
-
公开(公告)号:CN112805978A
公开(公告)日:2021-05-14
申请号:CN201980063775.4
申请日:2019-06-26
Applicant: 微软技术许可有限责任公司
IPC: H04L29/06
Abstract: 本文中描述了用于针对流处理的启动和/或恢复的系统和方法。在启动阶段期间:各自标识特定时间的(多个)启动锚请求被累积,直到来自下游节点的(多个)请求未决。所累积的(多个)启动锚请求的最小时间被确定。如果处理系统是输入节点,则与所确定的最小时间相关联的锚被生成。否则,标识所确定的最小时间的启动锚请求被提供给上游节点。一旦与所确定的最小时间相关联的锚被接收到(或生成),锚就响应于来自下游节点的、针对所确定的最小值的所轮询的启动锚请求锚而被提供。在恢复阶段期间,针对由两个特定锚界定的成批数据的异步请求根据被存储在有序锚集合中的信息而被执行。
-
-
-
-
-
-