加载数据的方法、装置、计算机设备和存储介质

    公开(公告)号:CN108363786A

    公开(公告)日:2018-08-03

    申请号:CN201810145189.1

    申请日:2018-02-12

    Inventor: 何鑫

    CPC classification number: G06F16/284 G06F16/254 G06F16/27

    Abstract: 本申请涉及一种加载数据的方法、系统、计算机设备和存储介质。所述方法包括:获取可执行文件的运行指令;根据所述可执行文件的运行指令,获取集群中数据节点的信息,所述数据节点的信息包括数据节点的数量;根据所述集群中数据节点的数量,将待分配数据加载至相应的数据节点。上述加载数据的方法、装置、计算机设备和存储介质,能够实现了提升数据同步效率、缩短数据同步时间的技术效果,规避了主节点服务器的性能瓶颈。

    一种大数据互动交换系统

    公开(公告)号:CN108334603A

    公开(公告)日:2018-07-27

    申请号:CN201810100144.2

    申请日:2018-02-01

    Inventor: 郑英

    CPC classification number: G06F16/182 G06F16/215 G06F16/254

    Abstract: 本发明提供了一种大数据互动交换系统,所述系统包括:数据采集模块,所述数据采集模块可以根据用户以往历史浏览、购买记录等行为进行数据采集;计算模块,所述数据采集模块采集的数据经过计算后转化为计算机语言;数据库,用于存储所述数据采集模块采集的数据经过所述计算模块转化的计算机语言;操作系统,通过所述操作系统,可以调用所述数据库中存储的信息,并发送数据库中的数据至云计算;云计算,接收待计算的数据,并进行计算处理。应用本发明的实施例,可以根据大数据互动交换系统能够提升网站的广告传播的精准度和商城商品展示的精准度。

    一种基于ESB的主数据分发管理机制

    公开(公告)号:CN108334315A

    公开(公告)日:2018-07-27

    申请号:CN201810135177.0

    申请日:2018-02-09

    CPC classification number: G06F8/20 G06F16/25 G06F16/254

    Abstract: 本发明公开了一种基于ESB的主数据分发管理机制,包括步骤:(1)主数据管理系统与其它系统通过企业服务总线ESB相连接;(2)任何系统中产生的主数据变更事件的同步协调优化由主数据管理系统来总体控制;(3)主数据在有新增或变更的时候,通过WS服务接口将数据分发给ESB;(4)ESB根据配置推送给关注此数据的应用进行消息分发。本发明可应用于企业医院机构等诸多领域,具有广泛的应用前景。

    一种数据库之间差异的比对方法、装置及终端设备

    公开(公告)号:CN108304522A

    公开(公告)日:2018-07-20

    申请号:CN201810071670.0

    申请日:2018-01-25

    Inventor: 侯茂军 吴坤

    CPC classification number: G06F16/254 G06F16/2433

    Abstract: 本发明适用于数据库领域,提供了一种数据库之间差异的比对方法、装置及终端设备。该方法包括:获取第一数据库和第二数据库,以及比对信息;基于所述比对信息对所述第一数据库和所述第二数据库进行比对获取差异结果信息;输出所述差异结果信息。本发明能够基于用户的需求,即比对信息对不同的数据库进行比对,在比对信息的选择上具有灵活性,并提高了比对效率,具有较强的实用性和易用性。

    图书推荐系统和方法
    7.
    发明公开

    公开(公告)号:CN108090074A

    公开(公告)日:2018-05-29

    申请号:CN201611035485.3

    申请日:2016-11-22

    CPC classification number: G06F16/2465 G06F16/24552 G06F16/254 G06F16/26

    Abstract: 本发明公开了一种图书推荐系统和方法,其中图书推荐系统包括依次以数据流联结的图形数据库模块、接口模块和输出模块;所述图形数据库模块采用Neo4j,所述Neo4j用于存储图书推荐所使用的数据源信息;所述接口模块用于将Neo4j中的数据源信息通过数据挖掘算法计算出待推荐的图书信息;所述输出模块用于输出所述待推荐的图书信息。本发明提供的图书推荐系统和方法采用Neo4j存储推荐算法的数据源,相对于关系数据库来说,可以更快、更高效地计算出推荐图书信息,并且基于Neo4j的数据挖掘算法能够有效降低算法的复杂度,降低对服务器资源的要求,能够有效提高了数据挖掘算法运行效率。

    一种基于元数据的云数据中心系统原型

    公开(公告)号:CN107958053A

    公开(公告)日:2018-04-24

    申请号:CN201711222767.9

    申请日:2017-11-29

    Inventor: 张军 李锋 张美华

    CPC classification number: G06F16/283 G06F16/21 G06F16/254

    Abstract: 本发明公开一种基于元数据的云数据中心系统原型。架构的特征为,元数据信息读取,进行数据抽取、净化,并载入云数据中心;通过对云数据中心的数据,进行聚合处理,为数据仓库提供数据;从数据仓库中抽取相应的特定元数据,形成数据集市;将知识库的元数据,通过匹配与合并逻辑,与业务系统的字典数据进行映射,提供统一的分析口径和数据服务。构建基于元数据的云数据中心系统原型。

    一种海量数据高效抽取方法

    公开(公告)号:CN107871013A

    公开(公告)日:2018-04-03

    申请号:CN201711181459.6

    申请日:2017-11-23

    Inventor: 石文威

    CPC classification number: G06F16/182 G06F16/254

    Abstract: 本发明公开了一种海量数据高效抽取方法,包括,步骤1,使用Golden Gate提取数据;利用Golden Gate解析Oracle的日志文件,提取出初始数据及发生变化的增量数据;步骤2,用MapReduce并行计算引擎加快处理速度;使用Hadoop大数据平台的MapReduce并行计算框架,来加速装载抽取出的数据;步骤3,将数据装载进HBase;采用多节点并行写入,直接生成HBase数据的存储格式文件。本发明提供了一种基于日志的结构化数据复制方式,可以从在线日志中准实时地抓取变化的数据,并将变化的数据保存在Trail格式的文件中。其优势在于通过对日志文件的分析实现变化数据的抓取只会占用很小的系统资源,特别是当Oracle中存储的数据量极大、Oracle系统负载很重时基本不会影响Oracle的运行效率。

    面向账期结算的数据处理方法及系统

    公开(公告)号:CN107491563A

    公开(公告)日:2017-12-19

    申请号:CN201710894355.3

    申请日:2017-09-28

    Inventor: 丘越崑

    CPC classification number: G06F16/254 G06F16/215 G06F16/283 G06Q40/12

    Abstract: 本发明属于数据处理技术领域,提供了一种面向账期结算的数据处理方法及系统。该方法包括拉取交易明细数据,根据不同维度表,对交易明细数据进行填充,构成数据宽表,按照不同账期时间,对数据宽表进行计算,获取面向不同主题的账期数据表,从数据宽表或账期数据表中,汇总具有业务意义的数据。本发明面向账期结算的数据处理方法及系统,能够准确地计算不同账期的数据,实现快速结算,降低硬件成本。

Patent Agency Ranking