公开(公告)号：CN118535333B

公开(公告)日：2025-05-23

申请号：CN202410659254.8

申请日：2024-05-27

Applicant: 中国地质大学(北京)

Inventor： 孙大为 ,  高森

IPC: G06F9/50 ,  G06F11/30 ,  G06F11/34

Abstract: 本发明涉及分布式流计算技术领域，特别涉及一种面向波动数据流下的算子弹性缩放方法及系统。方法包括：读取用户的配置以及监控模块的数据；获得当前环境中的运算实例的数量，基于当前监控数据和运算实例的数量，结合延迟约束策略以及弹性缩放策略对算子的并行度进行调整；根据调整后的算子并行度，通过调度管理器对任务在节点间进行重新定位，并基于自适应调度策略进行任务资源的分配。本发明实现了As‑Stream的数据监测模块以及性能优化模块，并集成到分布式流计算平台Apache Storm中，从延迟、吞吐量、资源利用率和系统负载的角度对系统指标进行了全面的评估。实验结果表明，As‑Stream在不同的数据流速率下，与弹性缩放方法Autoscale+相比，As‑Stream在系统性能行具有明显的提升。

公开(公告)号：CN118535333A

公开(公告)日：2024-08-23

申请号：CN202410659254.8

申请日：2024-05-27

Applicant: 中国地质大学(北京)

Inventor： 孙大为 ,  高森

IPC: G06F9/50 ,  G06F11/30 ,  G06F11/34

Abstract: 本发明涉及分布式流计算技术领域，特别涉及一种面向波动数据流下的算子弹性缩放方法及系统。方法包括：读取用户的配置以及监控模块的数据；获得当前环境中的运算实例的数量，基于当前监控数据和运算实例的数量，结合延迟约束策略以及弹性缩放策略对算子的并行度进行调整；根据调整后的算子并行度，通过调度管理器对任务在节点间进行重新定位，并基于自适应调度策略进行任务资源的分配。本发明实现了As‑Stream的数据监测模块以及性能优化模块，并集成到分布式流计算平台Apache Storm中，从延迟、吞吐量、资源利用率和系统负载的角度对系统指标进行了全面的评估。实验结果表明，As‑Stream在不同的数据流速率下，与弹性缩放方法Autoscale+相比，As‑Stream在系统性能行具有明显的提升。