-
公开(公告)号:CN114385555A
公开(公告)日:2022-04-22
申请号:CN202011638412.X
申请日:2020-12-31
Applicant: 华为技术有限公司
IPC: G06F16/14
Abstract: 本申请公开了一种数据查询方法、装置、设备及存储介质,数据处理系统在接收到数据查询请求后,并非是从数据量较大的第一文件中查询用户所需的目标数据,而是从数据量较小的第二文件中查询目标数据。其中,该多个第二文件具体是根据第一文件生成。第一文件与第二文件均可以是聚合数据形成的文件或者没有经过聚合处理的原始数据形成的文件,或者第一文件为原始数据形成的文件,第二文件为聚合数据形成的文件。由于每次查询数据时,是遍历数据量较小的第二文件,从而可以有效减少数据查询过程中所需遍历的数据量,进而可以有效提升查询数据的效率。
-
公开(公告)号:CN119336767A
公开(公告)日:2025-01-21
申请号:CN202310893279.X
申请日:2023-07-19
Applicant: 华为技术有限公司
IPC: G06F16/23 , G06F16/22 , G06F16/2455 , G06F16/27 , G06F9/54
Abstract: 本申请公开了一种数据处理方法以及相关装置,应用于数据库领域。该方法包括:第一区域服务器向第二区域服务器发送第一指令,通过第一指令指示第二区域服务器写入第一索引数据。并且,第一指令也会触发第一区域服务器将第一业务数据写入预写式日志WAL中,从而使得第一业务数据的WAL写入操作与第一索引数据的写入操作并行执行,节省了带索引数据的写入时间,缩短了写入耗时。
-
公开(公告)号:CN115858553A
公开(公告)日:2023-03-28
申请号:CN202111115530.7
申请日:2021-09-23
Applicant: 华为技术有限公司
IPC: G06F16/242 , G06F16/28 , G06F40/284 , G06F40/30
Abstract: 本申请公开了数据处理的方法、装置、设备及计算机可读存储介质,属于大数据技术领域。方法包括:获取第一SQL语句和关系型数据,关系型数据包括已处理的SQL语句和已处理的SQL语句的关键要素之间的对应关系;获取第一SQL语句的关键要素;基于已处理的SQL语句的关键要素对第一SQL语句的关键要素进行优化,得到优化后的关键要素;基于优化后的关键要素获取对第一SQL语句重写得到的第二SQL语句,基于第二SQL语句进行数据处理。该方法避免了修改优化规则时需要侵入到查询分析引擎内部的问题,降低了可实现的难度。SQL重写可以复用到不同的数据库,且避免了不同数据库都需要修改优化规则的增量开发,减少了开发工作量。
-
公开(公告)号:CN114756730A
公开(公告)日:2022-07-15
申请号:CN202011588814.3
申请日:2020-12-29
Applicant: 华为技术有限公司
IPC: G06F16/953 , H04L67/10 , G06F16/2453
Abstract: 本申请提供一种使用网络设备进行数据查询的系统、方法、及装置。所述系统的中心节点通过网络设备连接至工作节点。所述网络设备例如为网卡、交换机、路由器等。中心节点将用户输入的查询请求生成多个任务。在为所述多个任务分配执行设备的时候,中心节点会将一些任务的执行设备配置为网络设备,一些任务的执行设备配置为工作节点,然后发送配置指令至所配置的网络设备及工作节点,以在网络设备及工作节点上设置为其配置的任务。配置完成后,由于工作节点与中心节点之间传输的数据都要经过网络设备,所以网络设备会对经过的数据执行所设置的任务,从而以减少工作节点的运算量,减轻工作节点上处理器的负担并加速数据处理。
-
-
公开(公告)号:CN119557039A
公开(公告)日:2025-03-04
申请号:CN202311133163.2
申请日:2023-09-01
Applicant: 华为技术有限公司
Abstract: 本申请提供了一种事务管理方法,包括:事务管理节点接收事务请求,该事务请求用于请求执行分布式事务,事务管理节点根据分布式事务的操作间的依赖信息和冲突信息,对分布式事务进行切分获得多个独立的事务切片,事务管理节点为多个事务切片分配时序信息,向多个存储节点分发多个事务切片以及多个事务切片对应的时序信息,事务切片在存储节点按照时序信息顺序执行。该方法中,事务管理节点通过将事务切分为独立的事务切片,然后为事务切片分配时序信息,保证事务切片在数据存储层的执行顺序,无需事务发起/处理节点与存储节点进行频繁通信,解决事务发起/处理节点与存储节点间存在大量通信开销的问题,而且通过并发执行,提高了事务处理效率。
-
-
公开(公告)号:CN114817310A
公开(公告)日:2022-07-29
申请号:CN202110111965.8
申请日:2021-01-27
Applicant: 华为技术有限公司
IPC: G06F16/2453 , G06F16/2455
Abstract: 本申请公开了一种数据查询方法、装置、设备及存储介质,可以应用于包括协调节点以及工作节点的数据处理系统。协调节点向工作节点发送针对第一文件以及第二文件进行查询操作的任务,该任务包括针对第一文件以及第二文件的查询条件,并且第一文件的数据量大于第二文件的数据量。工作节点根据任务中的查询条件以及第一文件和第二文件分别对应的数据信息,预估第一文件中符合该查询条件的数据在第一文件中的占比,并当该占比大于预设阈值时,读取第一文件以及第二文件,并对其执行查询操作。如此,在预估出符合查询条件的数据在第一文件中的占比较大时,避免生成过滤条件所带来的数据查询效率变低、查询开销不减反增的问题。
-
公开(公告)号:CN114185916A
公开(公告)日:2022-03-15
申请号:CN202010967777.0
申请日:2020-09-15
Applicant: 华为技术有限公司
IPC: G06F16/242 , G06F16/2453 , G06F16/22
Abstract: 本申请公开了一种数据库计划树的优化方法、装置、设备及存储介质。协调服务器基于查询语句生成第一计划树,其中,所生成的第一计划树可以包括完成该查询语句所需要执行的算子,并根据预设的算子与优化器的对应关系以及第一计划树所包括的算子,确定对第一计划树进行优化的优化器集合,然后再利用该优化器集合中的优化器对第一计划树进行优化。这样,协调服务器所执行的优化器的数量可以得到减少,也即减少了优化器优化初始计划树所需的时间,从而可以提高协调服务器的响应速率。
-
公开(公告)号:CN113127477A
公开(公告)日:2021-07-16
申请号:CN201911401581.9
申请日:2019-12-30
Applicant: 华为技术有限公司
Abstract: 本申请提供了一种访问数据库的方法、装置、计算机设备和存储介质,属于大数据技术领域。该方法包括:大数据计算引擎访问数据库导出数据时,通过外部表,建立数据库的工作节点与代理节点的通信链路,并且建立代理节点与大数据计算引擎的任务的通信链路,使得数据库的工作节点将数据传输至代理节点,代理节点将数据传输至大数据计算引擎,使大数据计算引擎从数据库中导出数据。采用本申请,可以降低数据库的中央协调节点的负载。
-
-
-
-
-
-
-
-
-