公开(公告)号：CN115378789A

公开(公告)日：2022-11-22

申请号：CN202211299626.8

申请日：2022-10-24

Applicant: 中国地质大学(北京)

Inventor： 孙大为 ,  陈海洋

IPC: H04L41/044 ,  H04L41/0823 ,  H04L41/0894 ,  H04L41/12 ,  H04L41/14 ,  H04L43/103 ,  H04L67/61 ,  H04L67/62

Abstract: 本发明公开了一种多层次协作的流资源管理方法及系统，涉及分布式流计算技术领域。包括：DAG生成模块，用于根据预先设计的数据流应用程序，得到用于表示逻辑执行计划的DAG；自适应分组模块，用于根据动态调整策略，对上游运算符产生的数据流元组进行分组，并传输到下游运算符实例中进行处理；资源感知调度模块，用于将各实例调度到集群的计算节点中进行任务运行；弹性缩放模块，用于实时识别出当前处于瓶颈的运算符，并对运算符的并行度进行自适应调整。本发明设计了一种基于弹性数据流和拓扑感知的分布式流计算系统调度和资源管理框架，达到快速自适应数据输入速率的波动，使得流计算系统Apache Storm可以达到最优性能。

公开(公告)号：CN115378789B

公开(公告)日：2023-01-10

申请号：CN202211299626.8

申请日：2022-10-24

Applicant: 中国地质大学(北京)

Inventor： 孙大为 ,  陈海洋

IPC: H04L41/044 ,  H04L41/0823 ,  H04L41/0894 ,  H04L41/12 ,  H04L41/14 ,  H04L43/103 ,  H04L67/61 ,  H04L67/62

Abstract: 本发明公开了一种多层次协作的流资源管理方法及系统，涉及分布式流计算技术领域。包括：DAG生成模块，用于根据预先设计的数据流应用程序，得到用于表示逻辑执行计划的DAG；自适应分组模块，用于根据动态调整策略，对上游运算符产生的数据流元组进行分组，并传输到下游运算符实例中进行处理；资源感知调度模块，用于将各实例调度到集群的计算节点中进行任务运行；弹性缩放模块，用于实时识别出当前处于瓶颈的运算符，并对运算符的并行度进行自适应调整。本发明设计了一种基于弹性数据流和拓扑感知的分布式流计算系统调度和资源管理框架，达到快速自适应数据输入速率的波动，使得流计算系统Apache Storm可以达到最优性能。