-
公开(公告)号:CN103136364A
公开(公告)日:2013-06-05
申请号:CN201310082043.4
申请日:2013-03-14
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种集群数据库系统的数据查询处理方法,包括:查询服务器在接收到查询任务后,将查询任务解析成至少一个子查询任务;查询服务器将至少一个子查询任务分别发送给多个数据库系统以便并行执行至少一个子查询任务;多个数据库系统中的第一数据库系统在执行子查询任务的同时接收其他数据库系统发送的执行相关联子查询任务而得到的相关联查询结果数据,将接收到的相关联查询结果数据与第一数据库系统执行子查询任务得到的查询结果数据合并成查询中间结果;以及将查询中间结果作为下一子查询任务的输入从而执行下一子查询任务或者将查询中间结果发送给查询服务器。本发明还公开了集群数据库系统。采用本发明,可以减少查询的整体执行时间。
-
公开(公告)号:CN103136363A
公开(公告)日:2013-06-05
申请号:CN201310081952.6
申请日:2013-03-14
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种集群数据库系统,包括查询服务器和多个数据库节点,查询服务器,用于将接收到的查询请求分解成在多个阶段执行的多个查询任务,并将多个查询任务分别发送给相应的多个数据库节点;数据库节点,用于与其他相关联数据库节点并行执行同一查询任务,并且将其执行某一查询任务得到的查询数据与其他相关联数据库节点执行同一查询任务得到的查询数据合并得到中间查询结果数据;保存执行当前阶段的查询任务得到的中间查询结果数据并设置一个相应的断点;以及,如果执行当前阶段的查询任务时发生查询处理中断,则在查询处理恢复时,从之前设置的断点之一开始继续执行相对应的查询任务。
-
公开(公告)号:CN103064914A
公开(公告)日:2013-04-24
申请号:CN201210556719.4
申请日:2012-12-20
Applicant: 曙光信息产业(北京)有限公司
Abstract: 本发明公开了一种数据分配装置,包括:数据分级单元,用于根据设置的数据分级规则对数据处理系统的多个存储节点中存储的数据进行分级从而得到不同级别的数据,所述不同级别的数据至少包括第一级数据和第二级数据,其中,所述多个存储节点至少包括第一级存储节点和第二级存储节点;数据迁移单元,用于在多个存储节点中的一个不为第一级存储节点而存储有第一级数据时,将所存储的第一级数据迁移到第一级存储节点;以及,在多个存储节点中的一个不为第二级存储节点而存储有第二级数据时,将所存储的第二级数据迁移到第二级存储节点。本发明还公开了一种数据处理方法和系统。采用本发明,可以提高从海量数据中访问数据的效率。
-
公开(公告)号:CN102938001A
公开(公告)日:2013-02-20
申请号:CN201210530406.1
申请日:2012-12-10
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种数据加载方法,包括:将要加载数据按照设置的数据划分策略划分成多个数据部分,并为所述多个数据部分分配不同的数据库节点;基于为所述多个数据部分分配的数据库节点将所述多个数据部分分别存储到多个本地缓存部分中,其中,所述多个本地缓存部分相互独立且每个本地缓存部分对应一个数据库节点;以及检测到所述多个本地缓存部分中的一个本地缓存部分存储的数据量达到或超过第一数据量阈值时,将该本地缓存部分中的数据加载到与该本地缓存对应的数据库节点中。本发明还公开了一种数据加载装置。采用本发明,可提高数据库集群系统中数据加载到数据库节点的性能。
-
公开(公告)号:CN115292394A
公开(公告)日:2022-11-04
申请号:CN202210464796.0
申请日:2022-04-29
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F16/25 , G06F16/18 , G06F16/172 , G06F11/34 , G06F9/48
Abstract: 本申请涉及一种数据处理方法、装置、计算机设备和存储介质,该方法包括:计算机设备调用计算服务节点接收数据库操作请求,若数据库操作请求为数据写入请求,则基于数据写入请求构建预写日志;调用存储服务节点对预写日志进行划分,得到多个预写日志片段,并对多个预写日志片段进行存储处理。本方案中,将数据库中的存储服务与计算服务隔离,降低存储服务与计算服务的耦合性,在进行数据读/写过程中,减少对数据库性能的影响,此外,本方案在对数据库进行数据写过程中只传输构建的预写日志,不传输数据,大大降低了传输数据量,在存储预写日志的过程中,对预写日志进行划分存储,提升了数据快速恢复的能力,优化了数据库的写性能。
-
公开(公告)号:CN115167992A
公开(公告)日:2022-10-11
申请号:CN202210561897.X
申请日:2022-05-23
Applicant: 曙光信息产业(北京)有限公司
Abstract: 本申请涉及一种任务处理方法、系统、装置、服务器、介质及程序产品。该方法包括:响应于目标数据处理请求,检测目标数据处理请求的请求类别,若请求类别为实时请求,将目标数据处理请求对应的实时处理任务发送至读写集群中进行处理,若请求类别为准实时请求,将目标数据处理请求对应的准实时处理任务发送至只读集群中进行处理。采用本方法通过检测目标数据处理请求的请求类别,可以将不同请求类别的目标数据处理请求对应的数据处理任务发送至不同类别的服务集群进行并行处理,从而能够缩短目标数据处理请求对应的数据处理任务的处理时长,提高数据处理任务的处理速度以及处理效率。
-
公开(公告)号:CN113255000A
公开(公告)日:2021-08-13
申请号:CN202110628832.8
申请日:2021-06-04
Applicant: 曙光信息产业(北京)有限公司
Abstract: 本申请提供一种数据访问控制方法、装置、电子设备及可读存储介质,涉及计算机技术领域。该方法通过对访问主体设置读安全等级和写安全等级,根据读安全等级和/或写安全等级与访问客体的客体安全等级的关系来判断访问主体是否对访问客体具有访问权限,从而可以对访问客体进行安全等级划分,实现对访问客体的分级保护,并且还可以对访问主体的读写范围进行更精细化的访问控制,有效提高数据的安全性。
-
公开(公告)号:CN105389402B
公开(公告)日:2019-04-12
申请号:CN201511008901.6
申请日:2015-12-29
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F16/25 , G06F16/27 , G06F16/215
Abstract: 本发明提供了一种面向大数据的ETL方法和装置,该方法包括:获取参数配置文件;根据参数配置文件对待同步数据进行参数配置;通过ETL方法对参数配置后的数据进行同步。可以实现多种数据源间数据的导入导出功能,以及通过可视化界面的简单配置,实现基于hdfs数据的多种数据转换操作。
-
公开(公告)号:CN103559300B
公开(公告)日:2017-06-13
申请号:CN201310566602.9
申请日:2013-11-13
Applicant: 曙光信息产业(北京)有限公司 , 曙光信息产业股份有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种数据的查询方法和查询装置,其中,该查询方法包括:对预先接收到的至少一个数据查询语句进行整合,得到预查询语句;在预查询时机到达的情况下,执行预查询语句,得到预查询结果;在接收到当前数据查询语句的情况下,执行当前数据查询语句并在预查询结果中进行查询。根据本发明的技术方案,通过整合预先接收到的数据查询语句,得到预查询语句,并在预查询时机到达的情况下,执行该预查询语句,得到预查询结果,接收到新的类似的查询语句时,优先从预查询结果中进行查询,能够对用户行为进行预测,很大程度上提高数据查询的速度。
-
公开(公告)号:CN103136364B
公开(公告)日:2016-08-24
申请号:CN201310082043.4
申请日:2013-03-14
Applicant: 曙光信息产业(北京)有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种集群数据库系统的数据查询处理方法,包括:查询服务器在接收到查询任务后,将查询任务解析成至少一个子查询任务;查询服务器将至少一个子查询任务分别发送给多个数据库系统以便并行执行至少一个子查询任务;多个数据库系统中的第一数据库系统在执行子查询任务的同时接收其他数据库系统发送的执行相关联子查询任务而得到的相关联查询结果数据,将接收到的相关联查询结果数据与第一数据库系统执行子查询任务得到的查询结果数据合并成查询中间结果;以及将查询中间结果作为下一子查询任务的输入从而执行下一子查询任务或者将查询中间结果发送给查询服务器。本发明还公开了集群数据库系统。采用本发明,可以减少查询的整体执行时间。
-
-
-
-
-
-
-
-
-