-
公开(公告)号:CN117785930A
公开(公告)日:2024-03-29
申请号:CN202211149163.7
申请日:2022-09-21
Applicant: 华为云计算技术有限公司
IPC: G06F16/2455 , G06F16/28
Abstract: 本申请提供了一种数据查询方法和云服务系统,该方法中,由于基于数据查询消息生成N个AQP消息,并且由于每个AQP消息对应的抽样参数的数值不同,使得抽样参数数值小的AQP消息可以快速向客户端反馈数据查询结果,避免用户等待的时间过长,产生疲倦感,提高用户的业务体验。并且,本申请中,可以基于N个AQP消息分别获取每个AQP消息对应的数据查询结果,使得向客户端反馈的数据查询结果越来越精确。因此,本申请提供的数据查询方法可以保证数据查询的时延和精度。
-
公开(公告)号:CN117149824A
公开(公告)日:2023-12-01
申请号:CN202310983431.3
申请日:2023-08-04
Applicant: 深圳华为云计算技术有限公司
IPC: G06F16/2455 , G06F16/242
Abstract: 本申请实施例公开了一种缓存复用的方法以及相关设备,基于相似图的匹配算法来复用缓存的执行计划,以提升匹配效率。本申请实施例方法包括:获取查询指令,该查询指令包括至少两个第一数据表和至少一个连接关系。构建第一属性图,第一属性图包括了与至少两个第一数据表一一对应的至少两个第一节点和与至少一个连接关系一一对应的至少一条第一边。根据节点相似性和/或边相似性,从缓存中确定与第一属性图相似的第二属性图,第二属性图包括与至少两个第一节点一一对应的至少两个第二节点,和与至少一条第一边一一对应的至少一条第二边。复用第二属性图的执行计划处理查询指令,得到查询指令的查询结果。
-
公开(公告)号:CN119271662A
公开(公告)日:2025-01-07
申请号:CN202310786272.8
申请日:2023-06-29
Applicant: 华为云计算技术有限公司
Abstract: 一种元数据的处理方法、系统以及计算设备,该方法包括:数据生产集群生成共享数据的元数据,数据生产集群将共享数据存储至共享存储;数据生产集群接收元数据操作指令,并根据该元数据操作指令确定目标元数据,该目标元数据是目标共享数据的元数据,数据生产集群将目标元数据发送给数据消费集群;数据消费集群根据目标元数据从共享存储读取目标共享数据。该方法中数据消费集群可以实时获取共享数据的元数据,具有更好的用户体验,同时还可以节省元数据的存储成本。
-
公开(公告)号:CN110825706B
公开(公告)日:2022-09-16
申请号:CN201810893734.5
申请日:2018-08-07
Applicant: 华为云计算技术有限公司
IPC: G06F16/174 , G06F16/17
Abstract: 本申请提供了一种数据压缩的方法和相关装置。其中,该方法包括:存储节点获取多个数据块,其中,所述多个数据块关联存储在所述存储节点中;对所述多个数据块进行压缩,以得到压缩数据。本申请实施例通过在存储节点执行压缩任务,实现压缩功能,可以提升数据库的性能。
-
公开(公告)号:CN118193560A
公开(公告)日:2024-06-14
申请号:CN202211565695.9
申请日:2022-12-07
Applicant: 华为云计算技术有限公司
IPC: G06F16/242 , G06F16/28 , G06F16/2453 , G06F16/2455
Abstract: 本申请提供了一种数据分析方法,由数据分析系统执行,该系统包括协调节点、元数据管理装置和多个计算集群,计算集群中包括元数据缓存,元数据管理装置中记录有元数据缓存的状态,该方法包括:协调节点接收查询语句,向元数据管理装置下发一致性判断请求,元数据管理装置根据元数据缓存的状态,获得至少一个计算集群的元数据缓存的一致性判断结果,然后向协调节点返回一致性判断结果,接着根据一致性判断结果,从多个计算集群中确定目标计算集群,目标计算集群根据协调节点下发的分析请求,进行数据分析。由于无需在下发的执行计划中携带元数据,降低网络诉求。并且,基于一致性判断结果可以精准获取数据,减少同步次数,降低网络诉求。
-
公开(公告)号:CN114756607A
公开(公告)日:2022-07-15
申请号:CN202011569027.4
申请日:2020-12-25
Applicant: 华为云计算技术有限公司
Abstract: 本申请提供一种参数配置方法及装置,能够解决目前数据库管理系统参数配置不合理的问题,提高数据库管理系统的性能,可应用于参数配置系统中。该方法包括:获取数据库管理系统的数据库操作语句集,并确定与数据库操作语句集匹配的多个数据库训练语句集。基于多个数据库训练语句集对应的数据库参数训练集和数据库性能训练数据,建立机器学习模型。基于机器学习模型,将多个数据库参数候选集中,数据库性能预测结果满足第一预设条件的数据库参数候选集,确定为目标数据库参数集。由于样本数据集与实际业务场景相对应,从而确保基于实际业务场景建立的机器学习模型,能够解决数据库管理系统配置的数据库运行参数不合理的问题,提高数据库的性能。
-
公开(公告)号:CN119719096A
公开(公告)日:2025-03-28
申请号:CN202311824307.9
申请日:2023-12-26
Applicant: 华为云计算技术有限公司
IPC: G06F16/22
Abstract: 本申请例提供了一种数据处理方法,用于减少对存储资源的占用,节约存储资源。方法应用于网络设备,包括:获取基表和M个聚合表,基表包括网络设备实际存储的数据,M个聚合表中是根据M个聚合定义对基表包括的数据处理得到的,且M个聚合表各自对应的聚合定义不同,每个聚合定义包括键值对,用于指示处理基表包括的数据的方式。根据M个聚合定义包括的键,从M个聚合表中确定待合并的N个聚合表。对待合并的N个聚合表进行合并,得到合并后的聚合表,合并后的聚合表的数据量小于待合并的N个聚合表的数据量之和。其中,M和N均为大于或等于2的整数,且N小于或等于M。
-
公开(公告)号:CN119271661A
公开(公告)日:2025-01-07
申请号:CN202310786187.1
申请日:2023-06-29
Applicant: 华为云计算技术有限公司
Abstract: 一种元数据的处理方法、系统以及计算设备,该方法包括:数据生产集群生成共享数据的元数据,数据生产集群将共享数据和元数据存储至共享存储,共享存储生成元数据的路径信息;数据消费集群从共享存储获取元数据的路径信息,并基于元数据的路径信息从共享存储获取元数据,并基于元数据从共享存储获取共享数据。该方法能够降低共享数据的元数据的存储成本。
-
-
公开(公告)号:CN118093686A
公开(公告)日:2024-05-28
申请号:CN202211667377.3
申请日:2022-12-23
Applicant: 华为云计算技术有限公司
IPC: G06F16/25 , G06F16/22 , G06F16/27 , H04L67/10 , H04L67/1097
Abstract: 本申请公开了一种基于数据仓库系统的数据处理方法和数据仓库系统,属于数据仓库技术领域。该方法应用于该数据仓库系统,在该数据处理方法中,协调节点将数据表的数据写入请求分配给云计算集群中的第一计算节点,由第一计算节点对该数据写入请求对应的目标数据是否符合约束条件进行校验,若校验通过,则通过元数据集群对该目标数据进行再次校验,若元数据集群也校验通过,由云存储集群将该目标数据写入数据表中,可见,该数据仓库系统通过两层索引机制,利用了云原生架构的元数据集群,来校验待写入数据表的数据是否满足约束条件,从而在提供数据约束能力的同时,确保了数据可靠性,也确保了系统运行性能不受影响。
-
-
-
-
-
-
-
-
-