一种基于工作流任务的数据治理方法及系统

    公开(公告)号:CN115016906A

    公开(公告)日:2022-09-06

    申请号:CN202210422612.4

    申请日:2022-04-21

    Abstract: 本发明涉及工作流技术领域,具体为一种基于工作流任务的数据治理方法及系统,包括zookeeper框架、netty框架、quartz框架和多线程模块,所述执行流程包括以下步骤:创建保存工作流并将任务保存至关系型数据库中;多个主节点抢夺分布式锁,其中一个主节点的扫描线程获取所需执行的工作流;主节点拆分工作流为不同小任务,通过所述netty框架提交给从节点;从节点执行任务,完成后通过所述netty框架将执行结果返回主节点,由主节点将结果保存;对定时运行的任务,主节点扫描后将任务提交给所述quartz框架,自动运行相应工作流。本发明采用zookeeper,netty,quartz框架,可通过拖拽可视形式化配置任务,实时监控数据治理任务的运行状态,配置数据治理任务定时调度运行。

    一种数据传递、推送、同步的接口数据传递方式

    公开(公告)号:CN119537277A

    公开(公告)日:2025-02-28

    申请号:CN202411451826.X

    申请日:2024-10-17

    Abstract: 本发明提供一种数据传递、推送、同步的接口数据传递方式,涉及金属卷材控制器领域。该基于数据传递、推送、同步的接口数据传递方式,包括通过可插拔的数据适配器与装置的接口进行接触,数据适配器将作为接口的桥梁,使用JSON Schema定义通用的数据模型,允许在不同组件之间进行数据交换和验证,设计通用的schema,包含常见字段如i d、name、type,并允许扩展自定义字段,使用规则引擎来实现数据的自动化转换,采用工厂模式实现数据传输通道。通过简化了异构系统间的集成过程,开发人员不再需要为每对系统编写专门的转换逻辑,而是利用统一的接口进行数据交互,这显著降低了系统集成的复杂度,提高了开发效率。

Patent Agency Ranking