一种数据治理驱动数据共享交换系统及其工作方法

    公开(公告)号:CN109344133B

    公开(公告)日:2020-07-07

    申请号:CN201810982805.9

    申请日:2018-08-27

    Abstract: 本发明公开了一种数据治理驱动数据共享交换方法元数据采集器根据元数据标准采集异构数据源中的元数据,将采集的元数据存储至元数据库,元数据处理模块根据元数据接入信息通过影响分析、血缘分析和全链分析解析业务元数据和技术元数据的关系;数据治理模块通过识别业务元数据和技术元数据的关系生成待治理表的质量规则对元数据内容进行校验比对,得到问题数据、错误数据、正确数据和质量分析报告;数据共享交换模块根据数据订阅方式提供数据接口或推送类服务,输出数据订阅结果。本发明提供了技术元数据和业务元数据的统一管理,充分利用企业数据资产,满足企业对跨网络安全数据交换的业务需求。

    数据权限处理方法、装置、设备及存储介质

    公开(公告)号:CN109711188A

    公开(公告)日:2019-05-03

    申请号:CN201811551560.0

    申请日:2018-12-18

    Abstract: 本发明提供的数据权限处理方法、装置、设备及存储介质,属于计算机技术领域。该数据权限处理方法包括:获取用户输入的权限数据;确定与所述权限数据匹配的预设基础数据;确定与所述预设基础数据所对应的历史数据的数据权限;在目标数据库中执行与所述数据权限对应的操作。在本发明中,通过预设基础数据对多个不同数据库的原始数据进行统一的格式管理,进而再通过确定与所述预设基础数据所对应的历史数据的数据权限,以实现在目标数据库中查询与所述历史数据对应的原始数据,从而使得在统一权限过滤时执行查询,则可做对应转换,即将预设基础数据转化为历史数据,通过历史数据进行查询,进而实现了对数据权限过滤的技术效果。

    数据质量检测方法及装置
    13.
    发明公开

    公开(公告)号:CN109685360A

    公开(公告)日:2019-04-26

    申请号:CN201811559820.9

    申请日:2018-12-19

    CPC classification number: G06Q10/06395 G06Q10/06393

    Abstract: 本发明提供一种数据质量检测方法及装置,涉及数据分析技术领域。该数据质量检测方法包括:通过获取数据信息和检测算法,数据信息为预检测的数据信息,检测算法用于检测数据信息的质量;并根据检测算法,采用分布式计算的方式对数据信息进行检测,获取检测结果;最后根据检测结果和预先设置的检测条件,确定数据信息的质量。通过分布式计算的方式对数据信息进行检测,提高分析数据质量的速度,从而可以提高分析数据质量的效率。

    数据管理方法和装置
    14.
    发明公开

    公开(公告)号:CN109684342A

    公开(公告)日:2019-04-26

    申请号:CN201811575176.4

    申请日:2018-12-21

    Abstract: 本发明实施例提供一种数据管理方法和装置,应用于能够与多个微服务器进行通信的元数据中心,所述数据管理方法包括获取任意一微服务器上产生的元数据;根据与所述微服务器对应的历史版本号确定所述元数据的当前版本号;基于所述元数据和所述当前版本号对所述元数据对应的数据服务进行注册。本发明基于元数据中心实现对元数据的统一管理,能够使得各微服务器之间保持一致性,同时还便于快速了解数据脉络,实现对数据的有效管理。

    一种数据库自动管理方法及装置

    公开(公告)号:CN109684306A

    公开(公告)日:2019-04-26

    申请号:CN201811583246.0

    申请日:2018-12-24

    Abstract: 本发明提供一种数据库自动管理方法及装置,该方法包括:根据大数据平台中存储的数据库系统信息的分析结果生成数据库性能态势报告;记录管理员的优化操作,并根据管理员的优化操作生成自动化管理规则;接收管理员对自动化管理规则的审核操作;将经过管理员审核通过的自动化管理规则加入规则池;根据规则池中的审核通过的自动化管理规则对数据库进行自动化管理。因此,电子设备通过记录管理员执行的优化操作,生成自动化管理规则,当该自动化管理规则通过审核进入了规则池,就可以实现电子设备根据规则池中的规则对数据库进行自动化的管理,从而不再需要大量的运维人员来对数据库性能进行维护。

    一种数据治理驱动数据共享交换系统及其工作方法

    公开(公告)号:CN109344133A

    公开(公告)日:2019-02-15

    申请号:CN201810982805.9

    申请日:2018-08-27

    Abstract: 本发明公开了一种数据治理驱动数据共享交换方法元数据采集器根据元数据标准采集异构数据源中的元数据,将采集的元数据存储至元数据库,元数据处理模块根据元数据接入信息通过影响分析、血缘分析和全链分析解析业务元数据和技术元数据的关系;数据治理模块通过识别业务元数据和技术元数据的关系生成待治理表的质量规则对元数据内容进行校验比对,得到问题数据、错误数据、正确数据和质量分析报告;数据共享交换模块根据数据订阅方式提供数据接口或推送类服务,输出数据订阅结果。本发明提供了技术元数据和业务元数据的统一管理,充分利用企业数据资产,满足企业对跨网络安全数据交换的业务需求。

    一种多种数据融合质量检验的方法及系统

    公开(公告)号:CN111400299A

    公开(公告)日:2020-07-10

    申请号:CN202010497131.0

    申请日:2020-06-04

    Abstract: 本发明公开了一种多种数据融合质量检验的方法及系统,使用Spark-SQL从数据源中读取数据表,通过Spark集群对读取到的数据表进行质量检验并输出检验报告。本方案则提供统一的界面编辑Spark-SQL,并进行语法检验,由于Spark-SQL可以读取多种数据源的数据,本方案提供多数据源的数据表的融合质量检验。然后通过编排Spark-SQL转换成Spark分布式计算框架进行计算,可以处理TB、PB级别的数据。解决了传统的数据质量检验使用编写程序和python脚本方式进行质量检验,每种不同的场景都需要使用固定的逻辑,没有统一的SQL输入,不同的数据库检验需要使用不同的工具的问题。

    数据处理方法和数据处理装置

    公开(公告)号:CN109710813A

    公开(公告)日:2019-05-03

    申请号:CN201811531098.8

    申请日:2018-12-14

    Abstract: 本发明实施例提供的数据处理方法和数据处理装置,涉及数据处理技术领域。所述数据处理方法包括:针对待处理的无序数据中的每一条数据,判断该条数据是否存储有对应的定位信息;若该条数据存储有对应的定位信息,则获取该定位信息;若该条数据未存储有对应的定位信息,则对该条数据进行定位处理生成对应的定位信息,并获取该定位信息;根据获取的各定位信息对所述无序数据进行布局绘制得到对应的有向图。通过上述方法,可以解决有向图分布计算中存在的循环套循环和指向回转等逻辑陷阱,以提高有向图的清楚性。

    数据关系管理方法、装置、数据关系获取方法及存储介质

    公开(公告)号:CN109669981A

    公开(公告)日:2019-04-23

    申请号:CN201811578855.7

    申请日:2018-12-21

    Abstract: 本发明实施例提供一种数据关系管理方法、装置、数据关系获取方法及存储介质,所述管理方法包括:基于目标数据库的元数据、目标数据库中的来源表的表名以及目标数据库中的目的表的表名,获取目标数据库的第一唯一码、来源表的第二唯一码以及目的表的第三唯一码;基于数据流向关系,确定第一唯一码、第二唯一码以及第三唯一码之间的关系,继而建立唯一码关系图,所述唯一码关系图用于表征目标数据库、来源表以及目的表之间的血缘关系图。针对不同的数据库分配不同的唯一码,每一个数据库中的每一个表分配不同的唯一码,不同数据库中的表的唯一码也不同,继而建立唯一码关系图,使得用户能够直观的、快速地获取数据之间的关系。

Patent Agency Ranking