一种基于数据标准的元数据智能维护方法和装置

    公开(公告)号:CN109670091B

    公开(公告)日:2020-11-10

    申请号:CN201811587875.0

    申请日:2018-12-24

    Abstract: 本发明提供了一种基于数据标准的元数据智能维护方法和装置,涉及数据处理的技术领域,包括:扫描目标业务系统中的业务数据,得到扫描结果;若扫描结果为目标业务系统中的业务数据发送变化,则采集发生变化的业务数据的元数据;基于元数据的属性信息,将元数据与标准数据池中的标准数据元进行对比,标准数据池为基于预设数据元标准和标准数据元的数据元类型构建的数据池;若对比失败,则基于预设元数据标准对元数据进行修改,以实现对元数据的维护,解决了现有技术在对业务系统中业务数据的元数据进行维护时需要人工将元数据与标准数据元进行对比,导致维护效率较低的技术问题。

    一种流程图设计方法及装置

    公开(公告)号:CN109683883A

    公开(公告)日:2019-04-26

    申请号:CN201811585397.X

    申请日:2018-12-24

    CPC classification number: G06F8/34

    Abstract: 本发明提供一种流程图设计方法及装置,包括:获取用于流程图设计的初始数据;将所述初始数据按照预设优先级顺序依次发送给相应的流程组件进行数据转换,获得转换数据;通过所述流程组件中的各个组成部分根据所述转换数据进行图形渲染,得到流程图。本发明将流程图设计过程中的数据流拆分到对应的流程组件中进行处理,避免了后期较多组件杂乱的数据处理过程,增强了流程图自身的扩展性,可以让开发者在现有技术的基础上快速开发出满足其业务需求的功能,提高了流程图的适用性。

    一种SQL自动对标的匹配方法及装置

    公开(公告)号:CN111563142A

    公开(公告)日:2020-08-21

    申请号:CN202010674260.2

    申请日:2020-07-14

    Abstract: 本发明公开了一种SQL自动对标的匹配方法及装置,主要涉及数据处理及数据治理领域,用于数据治理中采集到的元数据项与标准间的关联映射,采用本方案,通过对算法链中的同义词、分词、联想等算法的升级,可以在后期优化提升整体的匹配度,让自动对标的匹配度得以提高,减少人工操作的工作量,解决了现有方案匹配度低,必须要名称一致才能匹配,对同义词无法匹配,且当无法通过名称匹配时,需要人工进行大量的操作,过程十分繁琐的问题。

    一种基于大数据多维属性动态生成标签的系统及工作方法

    公开(公告)号:CN109766353A

    公开(公告)日:2019-05-17

    申请号:CN201811471235.3

    申请日:2018-11-30

    Abstract: 本发明公开了一种基于大数据多维属性动态生成标签的系统及工作方法,包括源数据模块,所述源数据模块中储存有元数据;标签生成模块,所述标签生成模块与所述源数据模块连接,所述标签生成模块用于对源数据模块中的元数据进行采集并生成包含多个属性条件的标签;标签库模块,所述标签库模块用于储存所述标签生成模块生成的包含多个属性条件的标签;标签查询模块,所述标签查询模块用于通过所述标签库模块中的储存的标签对源数据模块中的数据进行查询。本发明通过标签生成模块对源数据模块中的元数据进行处理,并且生成包含多个属性条件的标签,用户通过包含多个属性条件的标签对源数据模块中的数据进行查询,使得查询过程更加迅、快捷和准确。

    数据读取方法及装置
    5.
    发明公开

    公开(公告)号:CN109634917A

    公开(公告)日:2019-04-16

    申请号:CN201811587795.5

    申请日:2018-12-24

    Abstract: 本发明提供了一种数据读取方法及装置,涉及数据存储的技术领域,采用获取查找指令,所述查找指令包括至少一个字段;根据所述至少一个字段确定对应的分片信息和索引文件;根据所述分片信息和索引文件在存储分片中读取目标数据的方式,通过设置分片信息以及索引文件,达到了快速定位目标数据的目的,并且底层存储采用Raft协议保证单个存储节点宕机时,不会造成数据丢失。

    一种流程图设计方法及装置

    公开(公告)号:CN109683883B

    公开(公告)日:2022-06-07

    申请号:CN201811585397.X

    申请日:2018-12-24

    Abstract: 本发明提供一种流程图设计方法及装置,包括:获取用于流程图设计的初始数据;将所述初始数据按照预设优先级顺序依次发送给相应的流程组件进行数据转换,获得转换数据;通过所述流程组件中的各个组成部分根据所述转换数据进行图形渲染,得到流程图。本发明将流程图设计过程中的数据流拆分到对应的流程组件中进行处理,避免了后期较多组件杂乱的数据处理过程,增强了流程图自身的扩展性,可以让开发者在现有技术的基础上快速开发出满足其业务需求的功能,提高了流程图的适用性。

    一种ETL系统的高效流程编排方法及系统

    公开(公告)号:CN111291106A

    公开(公告)日:2020-06-16

    申请号:CN202010399861.7

    申请日:2020-05-13

    Abstract: 本发明公开了一种ETL系统的高效流程编排方法及系统,本方案基于分布式计算引擎Spark,将各个操作抽象化并封装为一个个插件,然后提供可视化的流程编排将插件根据处理逻辑串联起来形成有向无环图DAG。以实现对海量数据ETL处理。插件支持动态升级和扩展,只需实现定义的对应接口并上传。插件会动态加载,然后在流程编排界面便能使用该插件。解决了现有方案在处理海量数据时较慢、存在较高的门槛、不够灵活且管理分散不易分析其血缘关系的问题。

    一种基于Canvas画布的连线寻路方法和装置

    公开(公告)号:CN109710717A

    公开(公告)日:2019-05-03

    申请号:CN201811587978.7

    申请日:2018-12-24

    Abstract: 本发明提供了一种基于Canvas画布的连线寻路方法和装置,涉及数据处理的技术领域,包括:基于目标系统中各个数据库之间的数据交互关系,在预设Canvas画布上构建数据节点均匀分布的矩阵图,其中,一个数据节点对应一个数据库;获取目标数据在传输过程中的源头数据库和终点数据库;在预设Canvas画布上确定源头数据库对应的第一数据节点的中心点位置坐标和终点数据库对应的第二数据节点的中心点位置坐标;基于第一数据节点的中心点位置坐标和第二数据节点的中心点位置坐标,连接第一数据节点和第二数据节点,得到用于表征目标数据的数据流向的连线图,解决了常规的寻路算法需要进行大量计算,导致常规的寻路算法应用复杂的技术问题。

    一种基于数据标准的元数据智能维护方法和装置

    公开(公告)号:CN109670091A

    公开(公告)日:2019-04-23

    申请号:CN201811587875.0

    申请日:2018-12-24

    Abstract: 本发明提供了一种基于数据标准的元数据智能维护方法和装置,涉及数据处理的技术领域,包括:扫描目标业务系统中的业务数据,得到扫描结果;若扫描结果为目标业务系统中的业务数据发送变化,则采集发生变化的业务数据的元数据;基于元数据的属性信息,将元数据与标准数据池中的标准数据元进行对比,标准数据池为基于预设数据元标准和标准数据元的数据元类型构建的数据池;若对比失败,则基于预设元数据标准对元数据进行修改,以实现对元数据的维护,解决了现有技术在对业务系统中业务数据的元数据进行维护时需要人工将元数据与标准数据元进行对比,导致维护效率较低的技术问题。

    数据处理方法和数据处理装置

    公开(公告)号:CN109710813B

    公开(公告)日:2020-08-11

    申请号:CN201811531098.8

    申请日:2018-12-14

    Abstract: 本发明实施例提供的数据处理方法和数据处理装置,涉及数据处理技术领域。所述数据处理方法包括:针对待处理的无序数据中的每一条数据,判断该条数据是否存储有对应的定位信息;若该条数据存储有对应的定位信息,则获取该定位信息;若该条数据未存储有对应的定位信息,则对该条数据进行定位处理生成对应的定位信息,并获取该定位信息;根据获取的各定位信息对所述无序数据进行布局绘制得到对应的有向图。通过上述方法,可以解决有向图分布计算中存在的循环套循环和指向回转等逻辑陷阱,以提高有向图的清楚性。

Patent Agency Ranking