公开(公告)号：CN116719616A

公开(公告)日：2023-09-08

申请号：CN202310332545.1

申请日：2023-03-31

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 卢居辉 ,  朱海勇 ,  吴文 ,  林至贤 ,  沈代明 ,  李艺蓉

IPC: G06F9/48 ,  G06F9/50 ,  G06F16/27 ,  G06F9/445 ,  G06F16/23 ,  G06F16/26 ,  G06F11/30

Abstract: 本申请涉及一种实时计算spark任务进程的方法、装置及存储介质，该方法从全局任务发起时开始监控，通过对正在执行的任务事件监听器进行优化，实时预测每个Job任务的用时，并在预测的基础上实时更新每个Job下的每个Task的具体用时，将Job的用时转化成百分比存储到分布式文件存储数据库进度表中，且每10s更新一下执行进度的百分比状态，前端通过调用分布式文件存储数据库表中的任务进度状态，实时展现任务的最新进度百分比，这将有利于对该任务整体计算进程的掌控，从而及时的做出相应的优化。