公开(公告)号：CN115567453B

公开(公告)日：2023-04-18

申请号：CN202211437122.8

申请日：2022-11-17

Applicant: 中国地质大学(北京)

Inventor： 孙大为 ,  张春林

IPC: H04L47/125 ,  H04L47/127 ,  H04L47/26 ,  H04L41/0893 ,  H04L41/0894 ,  H04L41/14 ,  H04L43/0888

Abstract: 本发明提供了一种数据流内容特征感知的弹性分组方法及系统，涉及分布式流计算技术领域。系统包括预测模块、反馈模块以及流连接计算模块；预测模块，用于对多个键频率分布的任务进行预测，获得预测结果，对预测结果进行调度；反馈模块，用于收集和识别每个worker的负载信息，并对所述每个worker进行弹性缩放；流连接计算模块，用于基于Apache Storm创建流连接应用Ada‑Stream，基于预测模块产生的预测结果以及反馈模块的负载信息进行负载平衡计算，完成数据流内容特征感知的弹性分组。本发明提出的快速、高效的流连接系统，在保证结果完整性的前提下，实现了系统的高吞吐量、低延迟、低内存成本和可扩展性。

公开(公告)号：CN115567453A

公开(公告)日：2023-01-03

申请号：CN202211437122.8

申请日：2022-11-17

Applicant: 中国地质大学(北京)

Inventor： 孙大为 ,  张春林

IPC: H04L47/125 ,  H04L47/127 ,  H04L47/26 ,  H04L41/0893 ,  H04L41/0894 ,  H04L41/14 ,  H04L43/0888

Abstract: 本发明提供了一种数据流内容特征感知的弹性分组方法及系统，涉及分布式流计算技术领域。系统包括预测模块、反馈模块以及流连接计算模块；预测模块，用于对多个键频率分布的任务进行预测，获得预测结果，对预测结果进行调度；反馈模块，用于收集和识别每个worker的负载信息，并对所述每个worker进行弹性缩放；流连接计算模块，用于基于Apache Storm创建流连接应用Ada‑Stream，基于预测模块产生的预测结果以及反馈模块的负载信息进行负载平衡计算，完成数据流内容特征感知的弹性分组。本发明提出的快速、高效的流连接系统，在保证结果完整性的前提下，实现了系统的高吞吐量、低延迟、低内存成本和可扩展性。