一种分布式流处理任务调度方法及设备

    公开(公告)号:CN117806781A

    公开(公告)日:2024-04-02

    申请号:CN202311842540.X

    申请日:2023-12-28

    Abstract: 本发明涉及种一种分布式流处理任务调度方法及设备,该方法包括:基于流处理任务中的多个待执行的任务信息,通过控制模块生成有向无环图;并将待执行的任务按照有向无环图中的对应关系下发到对应的物理计算节点;获取各个物理计算节点的资源使用率,并基于资源使用率判断是否需要对对应的物理计算节点的任务进行任务调度;若判定需要进行任务调度,则基于每个物理计算节点的资源信息,计算得到各个物理计算节点对应的任务调度优先级,并基于任务调度优先级最高的物理计算节点对待调度的任务进行任务调度。本发明解决了现有技术中的流处理任务调度时没有考虑硬件资源的限制,导致数据处理瓶颈,进而引起数据处理延迟的问题。

    一种分布式流计算引擎
    3.
    发明公开

    公开(公告)号:CN118113424A

    公开(公告)日:2024-05-31

    申请号:CN202311844662.2

    申请日:2023-12-28

    Abstract: 本发明涉及一种分布式流计算引擎,包括:控制节点模块,计算节点模块和Zookeeper集群模块;计算节点模块包括多个物理计算节点,用于监测和执行对应的流计算任务;Zookeeper集群模块部署在多个服务器上,用于存储多个物理计算节点的所有状态信息和任务信息,以供计算节点模块和控制节点模块进行实时监控调用;控制节点模块用于基于流处理任务生成有向无环图;并将待执行的任务按照有向无环图中的对应关系下发到对应的物理计算节点进行处理,并基于每个物理计算节点的资源信息进行任务调度,以实现流数据的低延时处理。本发明解决了现有技术中的流数据处理由于硬件资源受限导致数据处理瓶颈,进而引起数据处理延迟的问题。

Patent Agency Ranking