一种分布式流计算引擎
    5.
    发明公开

    公开(公告)号:CN118113424A

    公开(公告)日:2024-05-31

    申请号:CN202311844662.2

    申请日:2023-12-28

    Abstract: 本发明涉及一种分布式流计算引擎,包括:控制节点模块,计算节点模块和Zookeeper集群模块;计算节点模块包括多个物理计算节点,用于监测和执行对应的流计算任务;Zookeeper集群模块部署在多个服务器上,用于存储多个物理计算节点的所有状态信息和任务信息,以供计算节点模块和控制节点模块进行实时监控调用;控制节点模块用于基于流处理任务生成有向无环图;并将待执行的任务按照有向无环图中的对应关系下发到对应的物理计算节点进行处理,并基于每个物理计算节点的资源信息进行任务调度,以实现流数据的低延时处理。本发明解决了现有技术中的流数据处理由于硬件资源受限导致数据处理瓶颈,进而引起数据处理延迟的问题。

Patent Agency Ranking