-
公开(公告)号:CN116361060B
公开(公告)日:2023-09-15
申请号:CN202310598274.4
申请日:2023-05-25
Applicant: 中国地质大学(北京)
Abstract: 本发明涉及流计算系统容错技术领域,尤其涉及一种多特征感知的流计算系统容错方法和系统,包括:S1、进行多特征感知,所述多特征感知包括:预测应用程序运行流程中故障率、监控节点上任务的资源占用情况、感知节点上任务的执行时长与任务的处理数据量;S2、根据感知的多特征,使用Mf‑Stream容错策略,动态地调整检查点间隔,得到调整后的每个检查点间隔CIn,所述Mf‑Stream容错策略对应地包括:故障感知容错策略、资源感知容错策略、慢任务感知容错策略;S3、根据调整后的每个检查点间隔CIn,启动第n个检查点。本发明能够降低保存检查点数据的时间、降低系统恢复延迟,降低CPU占用率和内存占用率,降低任务执行时间。
-
公开(公告)号:CN116361060A
公开(公告)日:2023-06-30
申请号:CN202310598274.4
申请日:2023-05-25
Applicant: 中国地质大学(北京)
Abstract: 本发明涉及流计算系统容错技术领域,尤其涉及一种多特征感知的流计算系统容错方法和系统,包括:S1、进行多特征感知,所述多特征感知包括:预测应用程序运行流程中故障率、监控节点上任务的资源占用情况、感知节点上任务的执行时长与任务的处理数据量;S2、根据感知的多特征,使用Mf‑Stream容错策略,动态地调整检查点间隔,得到调整后的每个检查点间隔CIn,所述Mf‑Stream容错策略对应地包括:故障感知容错策略、资源感知容错策略、慢任务感知容错策略;S3、根据调整后的每个检查点间隔CIn,启动第n个检查点。本发明能够降低保存检查点数据的时间、降低系统恢复延迟,降低CPU占用率和内存占用率,降低任务执行时间。
-