公开(公告)号：CN117389700A

公开(公告)日：2024-01-12

申请号：CN202311251284.7

申请日：2023-09-26

Applicant: 中电科大数据研究院有限公司

Inventor： 周维 ,  胡建 ,  曹扬 ,  舒珏琳 ,  袁公萍

IPC: G06F9/48 ,  G06F9/50 ,  G06F16/25 ,  G06F16/28 ,  G06F16/242

Abstract: 本申请公开了一种流批一体的数据处理方法、装置、系统及存储介质，用于对数据进行一体化处理。本申请方法包括：创建Flink任务；统一使用Flink SQL语句定义数据处理逻辑；对Flink任务的任务类型进行判断；当确定Flink任务为流数据处理任务时，使用Flink引擎的数据处理逻辑对Flink任务进行处理；当确定Flink任务为批数据处理任务时，将批数据处理任务的配置信息封装为数据流；通过XxlJob调度器检查数据结构中的数据流，并提取出数据流中的配置信息；通过XxlJob调度器将配置信息传输至预先创建的执行器中；通过执行器对配置信息进行解析；执行器调用Flink引擎的统一API接口，并将批数据处理任务以参数的形式提交给Flink引擎进行处理。