公开(公告)号：CN115016906A

公开(公告)日：2022-09-06

申请号：CN202210422612.4

申请日：2022-04-21

Applicant: 河钢数字技术股份有限公司

Inventor： 李玉涛 ,  崔伟勇 ,  李飞 ,  冯兴 ,  贾会欣 ,  王海燕 ,  杨启航 ,  程浩 ,  李笛笛

IPC: G06F9/48

Abstract: 本发明涉及工作流技术领域，具体为一种基于工作流任务的数据治理方法及系统，包括zookeeper框架、netty框架、quartz框架和多线程模块，所述执行流程包括以下步骤：创建保存工作流并将任务保存至关系型数据库中；多个主节点抢夺分布式锁，其中一个主节点的扫描线程获取所需执行的工作流；主节点拆分工作流为不同小任务，通过所述netty框架提交给从节点；从节点执行任务，完成后通过所述netty框架将执行结果返回主节点，由主节点将结果保存；对定时运行的任务，主节点扫描后将任务提交给所述quartz框架，自动运行相应工作流。本发明采用zookeeper，netty，quartz框架，可通过拖拽可视形式化配置任务，实时监控数据治理任务的运行状态，配置数据治理任务定时调度运行。

公开(公告)号：CN116431668A

公开(公告)日：2023-07-14

申请号：CN202310427332.7

申请日：2023-04-20

Applicant: 河钢数字技术股份有限公司

Inventor： 申培 ,  王磊 ,  黎荣华 ,  陈云朋 ,  李笛笛 ,  张程程 ,  程浩 ,  薛阳

IPC: G06F16/242 ,  G06F9/48 ,  G06F16/25

Abstract: 本发明提供一种基于元数据采集的数据血缘分析方法、装置及电子设备。该方法包括：建立元数据的采集任务，并基于采集任务采集目标数据库的元数据；通过ANTLR分析目标数据库的结构化查询语言sql语句，得到语法树ParseTree；对ParseTree进行遍历，得到采集的元数据的血缘数据和血缘数据的元数据；将血缘数据的元数据和采集的元数据进行校验，得到校验后的血缘数据；基于图可视化引擎AntV/X6对校验后的血缘数据进行血缘分析，得到采集的元数据的血缘图。本发明能够快速高效地梳理出数据间的关系，减少原先关系型数据库手动查找定位元数据繁琐的步骤，提高追溯有问题数据的来源的效率。