公开(公告)号：CN115665161A

公开(公告)日：2023-01-31

申请号：CN202211265815.3

申请日：2022-10-17

Applicant: 重庆邮电大学

Inventor： 苏贞 ,  何安平 ,  熊安萍

IPC: H04L67/1023 ,  G06F9/50 ,  G06N3/006

Abstract: 本发明属于数据处理技术领域，具体涉及一种clickhouse实时数据流负载均衡方法及系统；该方法包括：采集clickhouse物理集群节点负载数据，构建一致性哈希多环结构，得到集群数据流的路由策略；根据clickhouse物理集群节点负载数据构建流量分发矩阵；根据流量分发矩阵，采用人工蜂群算法定期寻找流量分发的最优值，得到数据流量负载策略；根据路由策略和数据流量负载策略，采用flink流计算引擎对clickhouse集群的实时数据流进行动态调度；本发明可均衡各存储节点数据存储量，提高流量分发效率和存储性能，实用性高。

公开(公告)号：CN115665161B

公开(公告)日：2024-04-02

申请号：CN202211265815.3

申请日：2022-10-17

Applicant: 重庆邮电大学

Inventor： 苏贞 ,  何安平 ,  熊安萍

IPC: H04L67/1023 ,  G06F9/50 ,  G06N3/006

Abstract: 本发明属于数据处理技术领域，具体涉及一种clickhouse实时数据流负载均衡方法及系统；该方法包括：采集clickhouse物理集群节点负载数据，构建一致性哈希多环结构，得到集群数据流的路由策略；根据clickhouse物理集群节点负载数据构建流量分发矩阵；根据流量分发矩阵，采用人工蜂群算法定期寻找流量分发的最优值，得到数据流量负载策略；根据路由策略和数据流量负载策略，采用flink流计算引擎对clickhouse集群的实时数据流进行动态调度；本发明可均衡各存储节点数据存储量，提高流量分发效率和存储性能，实用性高。