一种多特征感知的流计算系统容错方法和系统

    公开(公告)号:CN116361060B

    公开(公告)日:2023-09-15

    申请号:CN202310598274.4

    申请日:2023-05-25

    Inventor: 孙大为 朱婷

    Abstract: 本发明涉及流计算系统容错技术领域,尤其涉及一种多特征感知的流计算系统容错方法和系统,包括:S1、进行多特征感知,所述多特征感知包括:预测应用程序运行流程中故障率、监控节点上任务的资源占用情况、感知节点上任务的执行时长与任务的处理数据量;S2、根据感知的多特征,使用Mf‑Stream容错策略,动态地调整检查点间隔,得到调整后的每个检查点间隔CIn,所述Mf‑Stream容错策略对应地包括:故障感知容错策略、资源感知容错策略、慢任务感知容错策略;S3、根据调整后的每个检查点间隔CIn,启动第n个检查点。本发明能够降低保存检查点数据的时间、降低系统恢复延迟,降低CPU占用率和内存占用率,降低任务执行时间。

    一种多特征感知的流计算系统容错方法和系统

    公开(公告)号:CN116361060A

    公开(公告)日:2023-06-30

    申请号:CN202310598274.4

    申请日:2023-05-25

    Inventor: 孙大为 朱婷

    Abstract: 本发明涉及流计算系统容错技术领域,尤其涉及一种多特征感知的流计算系统容错方法和系统,包括:S1、进行多特征感知,所述多特征感知包括:预测应用程序运行流程中故障率、监控节点上任务的资源占用情况、感知节点上任务的执行时长与任务的处理数据量;S2、根据感知的多特征,使用Mf‑Stream容错策略,动态地调整检查点间隔,得到调整后的每个检查点间隔CIn,所述Mf‑Stream容错策略对应地包括:故障感知容错策略、资源感知容错策略、慢任务感知容错策略;S3、根据调整后的每个检查点间隔CIn,启动第n个检查点。本发明能够降低保存检查点数据的时间、降低系统恢复延迟,降低CPU占用率和内存占用率,降低任务执行时间。

Patent Agency Ranking