-
公开(公告)号:CN104462362B
公开(公告)日:2018-03-06
申请号:CN201410743372.3
申请日:2014-12-08
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
Abstract: 本发明提供了一种数据存储、查询、加载方法及装置,在进行用户数据存储时,为用户数据创建对象,对象包括用户数据本身以及用户数据的属性信息,且每个对象具有对应的对象标识;将用户数据的属性信息存入元数据库中,根据用户数据的属性信息将其写入相应的底层存储系统,元数据库中用于存储属性信息的各属性信息表之间通过对象标识进行关联;在接收到查询请求时根据对象标识在各属性信息表中确定数据存储位置进行数据查询;在用户数据的数据类型需要改变时,修改用户数据相应的属性信息表后进行数据加载。采用本发明的技术方案,可以在不改变软件结构的情况下,更好的适应数据结构的变化。
-
公开(公告)号:CN106250519A
公开(公告)日:2016-12-21
申请号:CN201610633323.3
申请日:2016-08-04
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
CPC classification number: G06F16/24556 , G06F16/244 , G06F16/2456 , G06F16/278
Abstract: 本发明公开了一种用于并行数据库的数据查询方法和装置,该方法包括:在各个数据库节点上对目标数据表按照目标数据表与其他数据表之间的相应关联字段分别进行目标数据的分组聚合;在各个数据库节点上对相应的分组聚合结果和相应的其他数据表按照相应的关联字段分别进行哈希方式的数据重划分;将各个数据库节点的分组聚合结果的数据重划分结果和其他数据表的数据重划分结果均汇总到一个目标数据库节点;在目标数据库节点上对分组聚合结果的数据重划分结果和其他数据表的数据重划分结果进行目标数据的连接聚合。本发明能够实现数据的聚合查询,同时调高查询的并行性,提升集群的资源利用率,并降低网络开销,提高查询的性能。
-
公开(公告)号:CN105681397A
公开(公告)日:2016-06-15
申请号:CN201511025224.9
申请日:2015-12-30
Applicant: 曙光信息产业(北京)有限公司
CPC classification number: H04L67/1097 , G06F16/14 , G06F16/182
Abstract: 本发明提供了一种网络流量数据存储方法和系统,步骤一,采集网络数据,步骤二,将所述网络数据存储至分布式消息中间件Kafka;步骤三,使用Storm流式计算框架订阅所述Kafka中网络流量数据进行处理;步骤四,将已经进行拓扑处理的网络数据存储到分布式文件系统HDFS以及分布式键值型数据库HBase;步骤五,通过分布式批处理计算框架MapReduce对所述特征向量构建索引系统,并与所述HDFS及所述HBase进行关联。本发明采用大数据技术架构,同时保证各环节的高可靠性与高性能,可应对10gbps的网络环境;同时减少无意义的副本冗余以节省成本;并提供通用的第三方接口,易于其他厂商集成;同时在P级数据量下提供按五元组条件任意组合检索的秒级查询。
-
公开(公告)号:CN105653643A
公开(公告)日:2016-06-08
申请号:CN201511000801.9
申请日:2015-12-28
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
CPC classification number: G06F16/583
Abstract: 本发明提供了一种确定上网人员实名信息的方法及装置,方法包括:获取上网人员的登记信息及相关数据信息;对所述登记信息和相关数据信息进行比对;根据分析比对结果确定上网人员的实名信息。能够实现上网人员实名信息的快速与精确查找。
-
公开(公告)号:CN105630978A
公开(公告)日:2016-06-01
申请号:CN201510993530.5
申请日:2015-12-25
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
CPC classification number: G06F16/9032
Abstract: 本发明公开了一种信息收集方法和装置,该方法包括:通过收集各类身份认证数据,将用户的真实数据与用户的虚拟数据相关联;根据真实数据确认用户真实身份;将与真实数据相关联的所有虚拟数据收集为与用户真实身份相关联的挖掘数据。本发明通过采集多种身份认证数据来实现用户真实身份相关联的挖掘数据,在数据量大的场景下提供有力的数据支持。
-
公开(公告)号:CN105260294A
公开(公告)日:2016-01-20
申请号:CN201510785368.8
申请日:2015-11-16
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F11/34
Abstract: 本申请实施例中提供了一种应用程序占用内存的监控方法及装置,该方法包括:将应用程序加载至浏览器,应用程序为JavaScript应用程序;通过浏览器获取应用程序在多个不同时间点的堆快照,堆快照中记录各时刻应用程序的内存占用量;根据多个堆快照,判断应用程序的内存占用是否异常。采用本申请中的方案,能够在基本不产生内存消耗的同时,监控应用程序内存占用情况。
-
公开(公告)号:CN104462362A
公开(公告)日:2015-03-25
申请号:CN201410743372.3
申请日:2014-12-08
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
CPC classification number: G06F17/30563
Abstract: 本发明提供了一种数据存储、查询、加载方法及装置,在进行用户数据存储时,为用户数据创建对象,对象包括用户数据本身以及用户数据的属性信息,且每个对象具有对应的对象标识;将用户数据的属性信息存入元数据库中,根据用户数据的属性信息将其写入相应的底层存储系统,元数据库中用于存储属性信息的各属性信息表之间通过对象标识进行关联;在接收到查询请求时根据对象标识在各属性信息表中确定数据存储位置进行数据查询;在用户数据的数据类型需要改变时,修改用户数据相应的属性信息表后进行数据加载。采用本发明的技术方案,可以在不改变软件结构的情况下,更好的适应数据结构的变化。
-
-
-
-
-
-