公开(公告)号：CN102938001B

公开(公告)日：2016-02-10

申请号：CN201210530406.1

申请日：2012-12-10

Applicant: 曙光信息产业(北京)有限公司

Inventor： 宋怀明 ,  王颖 ,  苗艳超 ,  刘新春 ,  邵宗有

IPC: G06F17/30

Abstract: 本发明公开了一种数据加载方法，包括：将要加载数据按照设置的数据划分策略划分成多个数据部分，并为所述多个数据部分分配不同的数据库节点；基于为所述多个数据部分分配的数据库节点将所述多个数据部分分别存储到多个本地缓存部分中，其中，所述多个本地缓存部分相互独立且每个本地缓存部分对应一个数据库节点；以及检测到所述多个本地缓存部分中的一个本地缓存部分存储的数据量达到或超过第一数据量阈值时，将该本地缓存部分中的数据加载到与该本地缓存对应的数据库节点中。本发明还公开了一种数据加载装置。采用本发明，可提高数据库集群系统中数据加载到数据库节点的性能。

公开(公告)号：CN103106286A

公开(公告)日：2013-05-15

申请号：CN201310068332.9

申请日：2013-03-04

Applicant: 曙光信息产业(北京)有限公司

Inventor： 王颖 ,  宋怀明 ,  狄静舒 ,  苗艳超 ,  刘新春 ,  邵宗有

IPC: G06F17/30

Abstract: 本发明公开了一种元数据的管理方法和装置，其中，该方法包括：将元数据配置为多个集合；在多个节点中的每个节点以全复制的方式保存元数据的多个集合；根据用户的请求访问节点中保存的部分或全部集合。本发明通过将元数据配置为多个集合的形式保存到节点中，再对用户提供服务，能够整合元数据的资源，优化元数据的存储结构，从而提高对元数据节点进行更新的效率，并且由于采用了全复制的方式，减少了数据丢失，进而提高了分布式数据存储系统的资源利用率。

公开(公告)号：CN103106286B

公开(公告)日：2017-02-01

申请号：CN201310068332.9

申请日：2013-03-04

Applicant: 曙光信息产业(北京)有限公司

Inventor： 王颖 ,  宋怀明 ,  狄静舒 ,  苗艳超 ,  刘新春 ,  邵宗有

IPC: G06F17/30

Abstract: 本发明公开了一种元数据的管理方法和装置，其中，该方法包括：将元数据配置为多个集合；在多个节点中的每个节点以全复制的方式保存元数据的多个集合；根据用户的请求访问节点中保存的部分或全部集合。本发明通过将元数据配置为多个集合的形式保存到节点中，再对用户提供服务，能够整合元数据的资源，优化元数据的存储结构，从而提高对元数据节点进行更新的效率，并且由于采用了全复制的方式，减少了数据丢失，进而提高了分布式数据存储系统的资源利用率。

公开(公告)号：CN103136364A

公开(公告)日：2013-06-05

申请号：CN201310082043.4

申请日：2013-03-14

Applicant: 曙光信息产业(北京)有限公司

Inventor： 狄静舒 ,  宋怀明 ,  王颖 ,  苗艳超 ,  刘新春 ,  邵宗有

IPC: G06F17/30

Abstract: 本发明公开了一种集群数据库系统的数据查询处理方法，包括：查询服务器在接收到查询任务后，将查询任务解析成至少一个子查询任务；查询服务器将至少一个子查询任务分别发送给多个数据库系统以便并行执行至少一个子查询任务；多个数据库系统中的第一数据库系统在执行子查询任务的同时接收其他数据库系统发送的执行相关联子查询任务而得到的相关联查询结果数据，将接收到的相关联查询结果数据与第一数据库系统执行子查询任务得到的查询结果数据合并成查询中间结果；以及将查询中间结果作为下一子查询任务的输入从而执行下一子查询任务或者将查询中间结果发送给查询服务器。本发明还公开了集群数据库系统。采用本发明，可以减少查询的整体执行时间。

公开(公告)号：CN103064914A

公开(公告)日：2013-04-24

申请号：CN201210556719.4

申请日：2012-12-20

Applicant: 曙光信息产业(北京)有限公司

Inventor： 王颖 ,  宋怀明 ,  狄静舒 ,  苗艳超 ,  刘新春 ,  邵宗有

IPC: G06F17/30 ,  G06F11/14

Abstract: 本发明公开了一种数据分配装置，包括：数据分级单元，用于根据设置的数据分级规则对数据处理系统的多个存储节点中存储的数据进行分级从而得到不同级别的数据，所述不同级别的数据至少包括第一级数据和第二级数据，其中，所述多个存储节点至少包括第一级存储节点和第二级存储节点；数据迁移单元，用于在多个存储节点中的一个不为第一级存储节点而存储有第一级数据时，将所存储的第一级数据迁移到第一级存储节点；以及，在多个存储节点中的一个不为第二级存储节点而存储有第二级数据时，将所存储的第二级数据迁移到第二级存储节点。本发明还公开了一种数据处理方法和系统。采用本发明，可以提高从海量数据中访问数据的效率。

公开(公告)号：CN102938001A

公开(公告)日：2013-02-20

申请号：CN201210530406.1

申请日：2012-12-10

Applicant: 曙光信息产业(北京)有限公司

Inventor： 宋怀明 ,  王颖 ,  苗艳超 ,  刘新春 ,  邵宗有

IPC: G06F17/30

Abstract: 本发明公开了一种数据加载方法，包括：将要加载数据按照设置的数据划分策略划分成多个数据部分，并为所述多个数据部分分配不同的数据库节点；基于为所述多个数据部分分配的数据库节点将所述多个数据部分分别存储到多个本地缓存部分中，其中，所述多个本地缓存部分相互独立且每个本地缓存部分对应一个数据库节点；以及检测到所述多个本地缓存部分中的一个本地缓存部分存储的数据量达到或超过第一数据量阈值时，将该本地缓存部分中的数据加载到与该本地缓存对应的数据库节点中。本发明还公开了一种数据加载装置。采用本发明，可提高数据库集群系统中数据加载到数据库节点的性能。

公开(公告)号：CN103136364B

公开(公告)日：2016-08-24

申请号：CN201310082043.4

申请日：2013-03-14

Applicant: 曙光信息产业(北京)有限公司

Inventor： 狄静舒 ,  宋怀明 ,  王颖 ,  苗艳超 ,  刘新春 ,  邵宗有

IPC: G06F17/30

Abstract: 本发明公开了一种集群数据库系统的数据查询处理方法，包括：查询服务器在接收到查询任务后，将查询任务解析成至少一个子查询任务；查询服务器将至少一个子查询任务分别发送给多个数据库系统以便并行执行至少一个子查询任务；多个数据库系统中的第一数据库系统在执行子查询任务的同时接收其他数据库系统发送的执行相关联子查询任务而得到的相关联查询结果数据，将接收到的相关联查询结果数据与第一数据库系统执行子查询任务得到的查询结果数据合并成查询中间结果；以及将查询中间结果作为下一子查询任务的输入从而执行下一子查询任务或者将查询中间结果发送给查询服务器。本发明还公开了集群数据库系统。采用本发明，可以减少查询的整体执行时间。

公开(公告)号：CN103020322A

公开(公告)日：2013-04-03

申请号：CN201310012260.6

申请日：2013-01-11

Applicant: 曙光信息产业(北京)有限公司

Inventor： 狄静舒 ,  宋怀明 ,  王颖 ,  苗艳超 ,  刘新春 ,  邵宗有

IPC: G06F17/30

Abstract: 本发明提供了一种查询方法，包括：从用户接收查询请求；根据查询请求，在第一数据源中进行第一查询，获取第一查询结果和与第一查询结果相对应的关联信息参数；根据关联参数信息，在第二数据源中进行第二查询并获得第二查询结果；以及将第一查询结果与第二查询结果汇总成最终查询结果反馈给用户。根据通过第一次查询所获得的关联信息参数进行第二次查询，即，根据关联信息直接在第二数据源中获取查询结果，不仅大幅减少了检索结果，提高了检索的精确性而且大幅减少了检索时间，提高了检索速度和效率。而对于检索用户来说，由于最终检索结果少，精确度高，因此减少了浏览检索结果所需要的时间。