公开(公告)号：CN115016906A

公开(公告)日：2022-09-06

申请号：CN202210422612.4

申请日：2022-04-21

Applicant: 河钢数字技术股份有限公司

Inventor： 李玉涛 ,  崔伟勇 ,  李飞 ,  冯兴 ,  贾会欣 ,  王海燕 ,  杨启航 ,  程浩 ,  李笛笛

IPC: G06F9/48

Abstract: 本发明涉及工作流技术领域，具体为一种基于工作流任务的数据治理方法及系统，包括zookeeper框架、netty框架、quartz框架和多线程模块，所述执行流程包括以下步骤：创建保存工作流并将任务保存至关系型数据库中；多个主节点抢夺分布式锁，其中一个主节点的扫描线程获取所需执行的工作流；主节点拆分工作流为不同小任务，通过所述netty框架提交给从节点；从节点执行任务，完成后通过所述netty框架将执行结果返回主节点，由主节点将结果保存；对定时运行的任务，主节点扫描后将任务提交给所述quartz框架，自动运行相应工作流。本发明采用zookeeper，netty，quartz框架，可通过拖拽可视形式化配置任务，实时监控数据治理任务的运行状态，配置数据治理任务定时调度运行。

公开(公告)号：CN115658261A

公开(公告)日：2023-01-31

申请号：CN202211298514.0

申请日：2022-10-23

Applicant: 河钢数字技术股份有限公司

Inventor： 陈云朋 ,  李飞 ,  王海燕 ,  韩建辉 ,  高江龙 ,  程浩然 ,  李然 ,  刘昱

IPC: G06F9/48

Abstract: 本发明公开了基于有向无环图的任务编排调度系统，包括任务触发器、流程解析引擎、任务启动器、任务加载器、任务执行器、任务总线；任务触发器，任务流的启动者，负责启动任务执行流；规则解析引擎，负责解析使用者配置的规则，本发明能够解除依赖超时风险；在上游某个任务超时，不会因为等待该任务而导致其他的任务无法执行带来的请求保持问题，提高服务器CPU使用效率；能够节省开发成本；性能提升；释放主线程的请求等待问题，在上游接口请求耗时越不均匀，中台接口请求越复杂时，能体现本技术的性能优势；能够提高效率；适用于海量数据的复杂业务场景，可以更好的匹配复杂的业务场景，让整个任务编排根据业务可以实现模块化管理。

公开(公告)号：CN114780093A

公开(公告)日：2022-07-22

申请号：CN202210515711.7

申请日：2022-05-11

Applicant: 河钢数字技术股份有限公司

Inventor： 魏晓飞 ,  林亚团 ,  张杰祥 ,  彭晶 ,  李宏鹏 ,  刘培培 ,  刘发民 ,  王海燕

IPC: G06F8/38 ,  G06F8/34

Abstract: 本发明公开了一种大数据背景下数据分析处理服务平台，涉及数据处理分析技术领域。大数据背景下数据分析处理服务平台，支持多种数据处理框架和编程语言的综合数据分析服务平台，包括外围模块、zeppelin‑server模块、zeppelin‑interpreter模块、zeppelin‑zengine模块、zeppelin‑web模块和数据库模块。所述zeppelin‑server模块为整体系统入口，提供服务器功能、权限认证以及用户校验功能，zeppelin‑interpreter模块用于执行解释器，所述zeppelin‑zengine模块用于zeppelin中notebook的持久化和检索服务。该大数据背景下数据分析处理服务平台，本服务平台采用基于Zepeelin框架进行开发，支持多种主流的数据处理框架，包括Hadoop、Spark、Flink和R等框架，提供了主流的数据库操纵能力，包括PostgreSQL、HBase和MySQL。