基于数据血缘的大数据作业调度系统及方法

    公开(公告)号:CN118484273A

    公开(公告)日:2024-08-13

    申请号:CN202310103176.9

    申请日:2023-02-10

    Abstract: 本发明提供了一种基于数据血缘的大数据作业调度系统及方法,包括:作业资源节点管理模块:作业资源节点决定作业模板的分发方向,根据作业模板的作业资源节点类型,分配作业资源节点执行作业实例;作业模板管理模块:构建作业模板,关联作业流模板;作业流模板管理模块:将作业模板根据依赖关系及调度周期一致性划分工作流;作业调度模块:为作业流设置调度任务,运行作业流下的作业模板,接收作业分发模块返回的运行结果;作业分发模块:接收作业调度模块下发的作业实例,将作业下发至作业资源节点;可视化模块:观察作业模板,提供作业重跑和作业补数据。本发明保证业务数据自动、有序的构建。

    应用于企业大数据平台数据安全访问方法及系统

    公开(公告)号:CN120012161A

    公开(公告)日:2025-05-16

    申请号:CN202510319923.1

    申请日:2025-03-18

    Abstract: 本发明提供了一种应用于企业大数据平台数据安全访问方法及系统,所述方法包括:步骤S1:获取大数据平台的访客信息,根据访客信息确定访客类型;步骤S2:基于鉴权规则,根据访客类型确定用户的访问权限,得到访问权限范围内的访问数据。本发明公开的方案能够让数据更加安全的被使用,面对大数据平台自动排除非法用户的访问,大数据平台自动过滤掉与平台应用人员无关的数据,以及让平台应用人员更关注自身的业务数据能够获得较好地保护效果。

Patent Agency Ranking