数据库系统的数据处理方法以及数据库系统

    公开(公告)号:CN102968503A

    公开(公告)日:2013-03-13

    申请号:CN201210530823.6

    申请日:2012-12-10

    Abstract: 本发明公开了一种数据库系统的数据处理方法,所述数据处理方法包括:将数据表中的每一数据记录根据数据记录与数据虚分区的映射关系映射到相应的数据虚分区;基于数据虚分区与数据库节点的映射关系将每一数据虚分区映射到相应的数据库节点;以及,将数据表中的各数据记录存储到相应的数据库节点的相应的数据虚分区中。相应地,本发明还公开了一种数据库系统。采用本发明,可以快速地进行数据的重新划分和分布,从而提高了数据库集群的性能。

    用于并行数据库的数据查询方法和装置

    公开(公告)号:CN106250519A

    公开(公告)日:2016-12-21

    申请号:CN201610633323.3

    申请日:2016-08-04

    CPC classification number: G06F16/24556 G06F16/244 G06F16/2456 G06F16/278

    Abstract: 本发明公开了一种用于并行数据库的数据查询方法和装置,该方法包括:在各个数据库节点上对目标数据表按照目标数据表与其他数据表之间的相应关联字段分别进行目标数据的分组聚合;在各个数据库节点上对相应的分组聚合结果和相应的其他数据表按照相应的关联字段分别进行哈希方式的数据重划分;将各个数据库节点的分组聚合结果的数据重划分结果和其他数据表的数据重划分结果均汇总到一个目标数据库节点;在目标数据库节点上对分组聚合结果的数据重划分结果和其他数据表的数据重划分结果进行目标数据的连接聚合。本发明能够实现数据的聚合查询,同时调高查询的并行性,提升集群的资源利用率,并降低网络开销,提高查询的性能。

    信息收集方法和装置
    3.
    发明公开

    公开(公告)号:CN105630978A

    公开(公告)日:2016-06-01

    申请号:CN201510993530.5

    申请日:2015-12-25

    CPC classification number: G06F16/9032

    Abstract: 本发明公开了一种信息收集方法和装置,该方法包括:通过收集各类身份认证数据,将用户的真实数据与用户的虚拟数据相关联;根据真实数据确认用户真实身份;将与真实数据相关联的所有虚拟数据收集为与用户真实身份相关联的挖掘数据。本发明通过采集多种身份认证数据来实现用户真实身份相关联的挖掘数据,在数据量大的场景下提供有力的数据支持。

    新闻稿件话题聚类的方法和系统

    公开(公告)号:CN108255978A

    公开(公告)日:2018-07-06

    申请号:CN201711452903.3

    申请日:2017-12-28

    Abstract: 本发明公开了一种新闻稿件话题聚类的方法和系统,该方法包括:抽取历史新闻稿件;抽取实时新闻稿件;对历史新闻稿件进行分析处理,形成历史新闻稿件的话题层次树;根据实时新闻稿件与话题层次树中的话题的相似度,将实时新闻稿件添加到话题层次树中。本发明的上述技术方案能够实现对新闻稿件的全量话题聚类效果,在此实现过程中可利用大数据的分析处理技术,从而具有良好的聚类效果和应用效果。

    一种数据聚合查询的方法及装置

    公开(公告)号:CN104504154B

    公开(公告)日:2018-01-16

    申请号:CN201510018619.X

    申请日:2015-01-14

    Abstract: 本发明提供了一种数据聚合查询的方法及装置,方法包括:第一级节点对各自存储的数据执行聚合查询,所述节点为无共享架构下的节点;将第一级节点执行聚合查询后得到的数据汇总至第二级节点;第二级节点对第一级节点执行聚合查询后得到的数据执行聚合查询。装置包括:第一执行模块,用于在第一级节点对各自存储的数据执行聚合查询,所述节点为无共享架构下的节点;汇总模块,用于将第一级节点执行聚合查询后得到的数据汇总至第二级节点;第二执行模块,用于在第二级节点对第一级节点执行聚合查询后得到的数据执行聚合查询。采用本发明的技术方案,能够有效降低了数据聚合查询的网络通信开销,提高了数据聚合查询的效率。

    实时数据分析方法及系统

    公开(公告)号:CN106844539A

    公开(公告)日:2017-06-13

    申请号:CN201611255750.9

    申请日:2016-12-30

    CPC classification number: G06F17/30321 G06F17/30477 G06F17/30545

    Abstract: 本发明公开了一种实时数据分析方法和实时数据分析系统,该实时数据分析方法包括:根据需求构造检索算子、读取算子、和聚合分析算法;根据检索算子和读取算子对索引表和数据表进行检索以获取分析字段数据;以及根据聚合分析算法对分析字段数据进行聚合分析;其中,索引表和数据表均采用key‑value形式的列式存储,索引表配置为分析数据的各个字段与对应的字段数据的索引表。能够提升索引的灵活性和数据聚合分析性能。

    数据库系统的数据处理方法以及数据库系统

    公开(公告)号:CN102968503B

    公开(公告)日:2015-10-07

    申请号:CN201210530823.6

    申请日:2012-12-10

    Abstract: 本发明公开了一种数据库系统的数据处理方法,所述数据处理方法包括:将数据表中的每一数据记录根据数据记录与数据虚分区的映射关系映射到相应的数据虚分区;基于数据虚分区与数据库节点的映射关系将每一数据虚分区映射到相应的数据库节点;以及,将数据表中的各数据记录存储到相应的数据库节点的相应的数据虚分区中。相应地,本发明还公开了一种数据库系统。采用本发明,可以快速地进行数据的重新划分和分布,从而提高了数据库集群的性能。

    数据访问控制方法、装置、电子设备及可读存储介质

    公开(公告)号:CN113255000A

    公开(公告)日:2021-08-13

    申请号:CN202110628832.8

    申请日:2021-06-04

    Abstract: 本申请提供一种数据访问控制方法、装置、电子设备及可读存储介质,涉及计算机技术领域。该方法通过对访问主体设置读安全等级和写安全等级,根据读安全等级和/或写安全等级与访问客体的客体安全等级的关系来判断访问主体是否对访问客体具有访问权限,从而可以对访问客体进行安全等级划分,实现对访问客体的分级保护,并且还可以对访问主体的读写范围进行更精细化的访问控制,有效提高数据的安全性。

    一种数据聚合查询的方法及装置

    公开(公告)号:CN104504154A

    公开(公告)日:2015-04-08

    申请号:CN201510018619.X

    申请日:2015-01-14

    CPC classification number: G06F17/30489

    Abstract: 本发明提供了一种数据聚合查询的方法及装置,方法包括:第一级节点对各自存储的数据执行聚合查询,所述节点为无共享架构下的节点;将第一级节点执行聚合查询后得到的数据汇总至第二级节点;第二级节点对第一级节点执行聚合查询后得到的数据执行聚合查询。装置包括:第一执行模块,用于在第一级节点对各自存储的数据执行聚合查询,所述节点为无共享架构下的节点;汇总模块,用于将第一级节点执行聚合查询后得到的数据汇总至第二级节点;第二执行模块,用于在第二级节点对第一级节点执行聚合查询后得到的数据执行聚合查询。采用本发明的技术方案,能够有效降低了数据聚合查询的网络通信开销,提高了数据聚合查询的效率。

    集群数据库系统环境下的数据查询解析方法

    公开(公告)号:CN103310011A

    公开(公告)日:2013-09-18

    申请号:CN201310274920.8

    申请日:2013-07-02

    Abstract: 本发明公开了一种集群数据库系统环境下的数据查询解析方法,包括:接收到来自客户端的为第一结构化查询语言SQL语句的查询请求后,对所述第一SQL语句进行语法解析,使得语法解析后的第一SQL语句为以SelectStmt结构体表示的语法树;对所述语法树进行分析并构建相应的查询任务树;根据预确定的优化规则对所述查询任务树进行优化并生成查询任务流;其中:所述查询任务树包括由多层级构成的多个查询任务节点,同一层级包括一个或多个查询任务节点,其中,一个查询任务节点对应一个查询任务,以及,同一层级的多个查询任务节点生成为相互间并行执行的查询任务。采用本发明,可充分利用无共享结构集群数据库系统的并行运行算能力。

Patent Agency Ranking