一种数据存储、查询、加载方法及装置

    公开(公告)号:CN104462362B

    公开(公告)日:2018-03-06

    申请号:CN201410743372.3

    申请日:2014-12-08

    Abstract: 本发明提供了一种数据存储、查询、加载方法及装置,在进行用户数据存储时,为用户数据创建对象,对象包括用户数据本身以及用户数据的属性信息,且每个对象具有对应的对象标识;将用户数据的属性信息存入元数据库中,根据用户数据的属性信息将其写入相应的底层存储系统,元数据库中用于存储属性信息的各属性信息表之间通过对象标识进行关联;在接收到查询请求时根据对象标识在各属性信息表中确定数据存储位置进行数据查询;在用户数据的数据类型需要改变时,修改用户数据相应的属性信息表后进行数据加载。采用本发明的技术方案,可以在不改变软件结构的情况下,更好的适应数据结构的变化。

    用于并行数据库的数据查询方法和装置

    公开(公告)号:CN106250519A

    公开(公告)日:2016-12-21

    申请号:CN201610633323.3

    申请日:2016-08-04

    CPC classification number: G06F16/24556 G06F16/244 G06F16/2456 G06F16/278

    Abstract: 本发明公开了一种用于并行数据库的数据查询方法和装置,该方法包括:在各个数据库节点上对目标数据表按照目标数据表与其他数据表之间的相应关联字段分别进行目标数据的分组聚合;在各个数据库节点上对相应的分组聚合结果和相应的其他数据表按照相应的关联字段分别进行哈希方式的数据重划分;将各个数据库节点的分组聚合结果的数据重划分结果和其他数据表的数据重划分结果均汇总到一个目标数据库节点;在目标数据库节点上对分组聚合结果的数据重划分结果和其他数据表的数据重划分结果进行目标数据的连接聚合。本发明能够实现数据的聚合查询,同时调高查询的并行性,提升集群的资源利用率,并降低网络开销,提高查询的性能。

    一种网络流量数据存储方法及系统、查询方法及装置

    公开(公告)号:CN105681397A

    公开(公告)日:2016-06-15

    申请号:CN201511025224.9

    申请日:2015-12-30

    CPC classification number: H04L67/1097 G06F16/14 G06F16/182

    Abstract: 本发明提供了一种网络流量数据存储方法和系统,步骤一,采集网络数据,步骤二,将所述网络数据存储至分布式消息中间件Kafka;步骤三,使用Storm流式计算框架订阅所述Kafka中网络流量数据进行处理;步骤四,将已经进行拓扑处理的网络数据存储到分布式文件系统HDFS以及分布式键值型数据库HBase;步骤五,通过分布式批处理计算框架MapReduce对所述特征向量构建索引系统,并与所述HDFS及所述HBase进行关联。本发明采用大数据技术架构,同时保证各环节的高可靠性与高性能,可应对10gbps的网络环境;同时减少无意义的副本冗余以节省成本;并提供通用的第三方接口,易于其他厂商集成;同时在P级数据量下提供按五元组条件任意组合检索的秒级查询。

    信息收集方法和装置
    25.
    发明公开

    公开(公告)号:CN105630978A

    公开(公告)日:2016-06-01

    申请号:CN201510993530.5

    申请日:2015-12-25

    CPC classification number: G06F16/9032

    Abstract: 本发明公开了一种信息收集方法和装置,该方法包括:通过收集各类身份认证数据,将用户的真实数据与用户的虚拟数据相关联;根据真实数据确认用户真实身份;将与真实数据相关联的所有虚拟数据收集为与用户真实身份相关联的挖掘数据。本发明通过采集多种身份认证数据来实现用户真实身份相关联的挖掘数据,在数据量大的场景下提供有力的数据支持。

    一种应用程序占用内存的监控方法及装置

    公开(公告)号:CN105260294A

    公开(公告)日:2016-01-20

    申请号:CN201510785368.8

    申请日:2015-11-16

    Abstract: 本申请实施例中提供了一种应用程序占用内存的监控方法及装置,该方法包括:将应用程序加载至浏览器,应用程序为JavaScript应用程序;通过浏览器获取应用程序在多个不同时间点的堆快照,堆快照中记录各时刻应用程序的内存占用量;根据多个堆快照,判断应用程序的内存占用是否异常。采用本申请中的方案,能够在基本不产生内存消耗的同时,监控应用程序内存占用情况。

    一种数据存储、查询、加载方法及装置

    公开(公告)号:CN104462362A

    公开(公告)日:2015-03-25

    申请号:CN201410743372.3

    申请日:2014-12-08

    CPC classification number: G06F17/30563

    Abstract: 本发明提供了一种数据存储、查询、加载方法及装置,在进行用户数据存储时,为用户数据创建对象,对象包括用户数据本身以及用户数据的属性信息,且每个对象具有对应的对象标识;将用户数据的属性信息存入元数据库中,根据用户数据的属性信息将其写入相应的底层存储系统,元数据库中用于存储属性信息的各属性信息表之间通过对象标识进行关联;在接收到查询请求时根据对象标识在各属性信息表中确定数据存储位置进行数据查询;在用户数据的数据类型需要改变时,修改用户数据相应的属性信息表后进行数据加载。采用本发明的技术方案,可以在不改变软件结构的情况下,更好的适应数据结构的变化。

Patent Agency Ranking