公开(公告)号：CN115599524A

公开(公告)日：2023-01-13

申请号：CN202211329376.8

申请日：2022-10-27

Applicant: 中国兵器工业计算机应用技术研究所(CN)

Inventor： 彭龙 ,  杨亮 ,  杜宏博 ,  王嘉岩 ,  葛天恒 ,  徐天敕 ,  葛晋鹏 ,  冯国清 ,  薛行 ,  崔琳 ,  许童

IPC: G06F9/48

Abstract: 本发明涉及一种基于流数据和批数据协同调度处理的数据湖系统，属于数据处理技术领域；解决现有技术在构建数据湖或对数据湖中的数据进行处理时无法实现流数据与批数据处理任务的混合编排，效率低的问题；本发明的数据湖系统包括：集中式存储模块、计算引擎模块和数据管理模块；其中，集中式存储模块用于分类存储各个业务数据源的数据；数据管理模块用于进行数据处理任务编排，并基于预设的数据处理任务协同调度方法，对每个节点的数据处理任务进行调度处理；计算引擎模块用于基于数据处理任务需求，通过不同的计算引擎对集中式存储模块中的数据进行处理，并将处理后的数据基于数据处理任务的需求进行推送或存入集中式存储模块中。