流式数据处理方法、系统及存储介质

    公开(公告)号:CN116737349A

    公开(公告)日:2023-09-12

    申请号:CN202311029714.0

    申请日:2023-08-16

    Abstract: 本发明提供了一种流式数据处理方法、系统及存储介质,属于大数据处理领域。包括如下步骤:监听多条数据源,对于处于激活状态的采集任务,将数据推送到消息队列中;根据消息队列中的数据,判断所需的输入数据是否可用,将计算任务划分成多个独立或并行执行的子计算任务;根据子计算任务,将每个计算任务定义一个或多个输入数据包和输出数据包;判断当前已启动的子计算任务是否完成:一旦某个子计算任务完成,则向资源调度模块发送通知,接收到通知后,回收已完成的子计算任务所占用的内存资源。本发明提出的方法在数据安全性、权限管理、复杂流任务处理、容错能力以及处理速度等方面相比现有技术具有显著优势。

Patent Agency Ranking