一种数据治理驱动数据共享交换系统及其工作方法

    公开(公告)号:CN109344133B

    公开(公告)日:2020-07-07

    申请号:CN201810982805.9

    申请日:2018-08-27

    Abstract: 本发明公开了一种数据治理驱动数据共享交换方法元数据采集器根据元数据标准采集异构数据源中的元数据,将采集的元数据存储至元数据库,元数据处理模块根据元数据接入信息通过影响分析、血缘分析和全链分析解析业务元数据和技术元数据的关系;数据治理模块通过识别业务元数据和技术元数据的关系生成待治理表的质量规则对元数据内容进行校验比对,得到问题数据、错误数据、正确数据和质量分析报告;数据共享交换模块根据数据订阅方式提供数据接口或推送类服务,输出数据订阅结果。本发明提供了技术元数据和业务元数据的统一管理,充分利用企业数据资产,满足企业对跨网络安全数据交换的业务需求。

    一种资源型城市生态安全预警的方法及装置

    公开(公告)号:CN111260264A

    公开(公告)日:2020-06-09

    申请号:CN202010370172.3

    申请日:2020-05-06

    Abstract: 本发明公开了一种资源型城市生态安全预警的方法及装置,基于“状态—胁迫—免疫,state-danger-immunity,SDI”模型将研究地区的生态安全综合考量分解成为生态环境状态、生态安全胁迫和生态风险免疫功能3个层面。本发明的贝叶斯网络根节点为资源型城市生态安全预警C;确定贝叶斯网络的中间节点Cj,包括:环境状态C1、生态安全胁迫C2和生态风险免疫能力C3。解决了现有的资源型城市生态安全预警的方法一般基于专家评分,受主观影响较大,分析比较片面的问题。

    一种动态OID推送数据采集方法及装置

    公开(公告)号:CN111209405A

    公开(公告)日:2020-05-29

    申请号:CN202010319483.7

    申请日:2020-04-22

    Abstract: 本发明公开了一种动态OID推送数据采集方法及装置,基于SNMP OID数据采集管理系统,现有方案依靠手动配置OID信息进行数据的采集,一方面会加重用户的工作量,配置易出错;另一方面不够灵活,不能根据系统实际运行情况进行动态OID推荐,易出现对系统监控不完善,监控行为刻板的缺点。本方案根据每次请求的OID返回的数据集进行建模、消除人工干预,同时根据模型预测出相关联的OID进行OID动态推送,弥补了单纯使用手动进行配置OID的缺陷;本方案是构建智能运维分析系统必不可少的环节之一。

    一种基于时序数据的统计指标存储方法及装置

    公开(公告)号:CN111209285A

    公开(公告)日:2020-05-29

    申请号:CN202010324453.5

    申请日:2020-04-23

    Abstract: 本发明公开了一种基于时序数据的统计指标存储方法及装置,在将时序数据写入时序数据库的同时计算时序数据的统计指标,将时序数据的统计指标计算结果写入KV引擎。本方案会在时序数据入库时提前计算所有统计指标,并把统计指标按照时序来进行入库存储,每次查询指标不必再读取原始时序数据,能够大大提升时序数据统计指标的查询,减少计算资源的消耗。解决了现有时序数据进行统计指标计算时需要大量的读I/O去读取原始数据,消耗系统资源且没有对统计数据的进行有效管理和保存,每次都需要重新去读取原始数据来计算的问题。

    一种基于区块链的数据防伪方法

    公开(公告)号:CN111143466A

    公开(公告)日:2020-05-12

    申请号:CN201911098040.3

    申请日:2019-11-12

    Abstract: 本发明公开了一种基于区块链的数据防伪方法,提出一种基于联盟链的数据防伪方法。运用区块链技术,保护数据平台上数据的唯一性,达到鉴别数据所有权的方法。在用户上传数据到数据平台时,数据平台对数据进行处理得到数据的标签码,标签码与数据一一对应,数据平台将数据的标签码及上传时间传入由数据平台和用户共同建立的联盟链中,数据平台接收到用户的投诉后对联盟链上的数据进行查询,判断用户上传的数据和投诉的数据的分别上传时间,将后上传的数据移除,达到保护数据平台上数据的唯一性,达到鉴别数据所有权的目的。

    一种基于Spark的小文件合并方法及系统

    公开(公告)号:CN111008235A

    公开(公告)日:2020-04-14

    申请号:CN201911216907.0

    申请日:2019-12-03

    Abstract: 本发明公开了一种基于Spark的小文件合并方法及系统,本方案通过定时合并小文件任务,根据任务规则将多个分区中的多个文件合并成1个文件,降低小文件散落数量,当查询Hive库中数据时能降低磁盘读取负荷,网络传输消耗,数据合并等过程提升数据查询效率。解决了现有方案对源数据库中的数据抽取到Hive库中,Spark同时多个任务同时读取源数据库数据,并将数据写入到不同分区中导致的磁盘读取倍增、数据查询性能就会下降的问题。

    一种海量数据聚类分析方法及装置

    公开(公告)号:CN110717086A

    公开(公告)日:2020-01-21

    申请号:CN201911270066.1

    申请日:2019-12-12

    Abstract: 本发明公开了一种海量数据聚类分析方法及装置,本发明的目的在于实现一种基于并行计算的DBSCAN算法,解决传统密度聚类算法无法进行海量数据分析的问题。该发明提出了高效的交叠分区和类簇合并策略,能够快速的进行数据拆分和类簇合并,并且该方法充分考虑了负载均衡,可以在分布式框架下实现高效运算,从而支持海量数据的聚类,高效地解决了传统DBSCAN无法进行海量数据分析的问题,因此该方法具有较高的性能和实用价值。

    一种数据源融合计算方法、组件及装置

    公开(公告)号:CN110647518A

    公开(公告)日:2020-01-03

    申请号:CN201911188323.7

    申请日:2019-11-28

    Abstract: 本发明公开了一种数据源融合计算方法、组件及装置,在本技术方案中不需要预先创建外部表,只需依赖数据源连接信息就可以直接展开多数据源计算。首先,我们会解析用户的SQL语句;然后,根据解析结果只从源数据库中抽取用户业务中需要的数据;最后,将这些数据在DTC-FUSION上展开融合计算,并将结果输出到用户指定的目标数据库。解决了在现有的技术中一般通过Spark进行数据融合计算,其支持的数据源种类受限,而且每个数据源的表数据是全量读取,然后在内存中计算,这样参与计算的数据量巨大,对内存和网络I/O的压力非常大的问题。

    一种组件编排的移动适配重排方法及装置

    公开(公告)号:CN110457030A

    公开(公告)日:2019-11-15

    申请号:CN201910947490.9

    申请日:2019-10-08

    Abstract: 本发明公开了一种组件编排的移动适配重排方法及装置,包括需要进行编排的PC网站,还包括以下步骤:S1、获取PC网站的组件列表;S2、根据PC网站组件之间的交叉关系对组件进行重新分组得到组件集合和组件集合列表;S3、根据组件集合在PC网站的位置关系,使用组件排序算法对组件集合列表中的组件集合进行排序;S4、根据步骤S3确定的组件集合顺序进行重排。解决了网站生成器的组件类型相对比较单一,而面对类型丰富的组件时,按照网站生成器的单一重排规则,无法应对复杂的页面编排的问题。

Patent Agency Ranking