-
公开(公告)号:CN119311660A
公开(公告)日:2025-01-14
申请号:CN202311427094.6
申请日:2023-10-30
Applicant: 华为云计算技术有限公司
IPC: G06F16/21 , G06F16/22 , G06F16/2458
Abstract: 一种数据处理方法及装置,应用于数据处理系统中的前端设备,数据处理系统还包括目标设备和数据库,目标设备用于采集目标设备运行过程中的多个时序数据,每个时序数据包括时序数据的采集时间。该方法包括:前端设备获取第一时序数据,判断第一时序数据是否是顺序数据。进一步的,前端设备在确定第一时序数据是顺序数据的情况下,将第一时序数据存储至数据库;或者,前端设备在确定第一时序数据是乱序数据的情况下,将第一时序数据存放至前端设备的排序缓存中。如此,避免前端设备将乱序数据存储至数据库而造成的对数据库性能的影响。
-
公开(公告)号:CN118277443A
公开(公告)日:2024-07-02
申请号:CN202211654936.7
申请日:2022-12-22
Applicant: 华为云计算技术有限公司
IPC: G06F16/2458 , G06F16/2457
Abstract: 一种数据分析系统,该系统包括:特征提取模块,包括第一层算子和第二层算子至少两层特征算子,第一层算子基于元数据提取目标特征,当第一层算子未提取到所述目标特征时第二层算子提取所述目标特征,第二层算子的复杂度高于第一层算子的复杂度;元数据包括第一用户确定的针对第一数据集的数据子集,第一数据集包括一组数据的集合,算子推荐模块,基于目标特征确定第一算子集,所述第一算子集用于所述第一数据集的分析。该阶梯式的特征提取框架能够提高数据特征提取效率,进而迅速的为时序数据源推荐出合适的分析算子,提升了复杂数据场景下时序数据算法推荐的效率以及用户的体验。
-
公开(公告)号:CN115687441A
公开(公告)日:2023-02-03
申请号:CN202110850362.X
申请日:2021-07-27
Applicant: 华为云计算技术有限公司
IPC: G06F16/2458 , G06F9/50
Abstract: 本申请公开了一种数据分析方法、装置及系统,属于数据分析技术领域。该方法包括:接收数据分析请求,数据分析请求指示基于数据库中的数据进行数据分析;基于数据分析所需的数据在数据库的数据分布情况,得到多个数据分析任务,多个数据分析任务用于实现不同功能分析;对数据库的数据执行多个数据分析任务。本申请提高了多个数据分析任务的执行效率。
-
公开(公告)号:CN114254035A
公开(公告)日:2022-03-29
申请号:CN202011004630.8
申请日:2020-09-22
Applicant: 华为云计算技术有限公司
Abstract: 本发明实施例公开了一种数据库系统、数据处理方法及设备,数据库系统包括主数据库节点、存储层以及至少一个从数据库节点;主数据库节点,用于接收客户端发送的写入信息,写入信息用于对主数据库节点存储的目标数据进行操作;获取第一指令信息,根据第一指令信息开启或关闭写入信息对应的逻辑日志的生成;将被操作的目标数据写入存储层;至少一个从数据库节点,用于从存储层中获取目标数据。通过主数据库节点将目标数据存储在存储层,降低数据库内部操作对逻辑日志的依赖,实现计算和存储的分离,同时通过主数据库节点实现主数据库节点可以根据需要开启或关闭逻辑日志生成功能,提高了数据存储和传输效率,满足用户多种数据库功能需求。
-
公开(公告)号:CN120030012A
公开(公告)日:2025-05-23
申请号:CN202410372304.4
申请日:2024-03-27
Applicant: 华为云计算技术有限公司
IPC: G06F16/22 , G06F16/2455 , G06F16/28
Abstract: 本申请公开了一种存储数据的方法、装置及存储介质,属于通信领域。所述方法包括:接收多条数据,其中,每条数据包括多个标签的标签值,所述多个标签包括被指定为排序键的第一标签和第二标签,所述第一标签在所述排序键中的顺序在所述第二标签之前;确定所述每条数据中第一标签的标签值所属的标签值集合;基于所述排序键的顺序、所述每条数据中第一标签的标签值所属的标签值集合的标识信息、以及所述每条数据中第二标签的标签值,确定所述多条数据的存储顺序;基于所述多条数据的存储顺序,存储所述多条数据。本申请能够提高数据在数据库中存储的有序性。
-
公开(公告)号:CN119336799A
公开(公告)日:2025-01-21
申请号:CN202311863809.2
申请日:2023-12-29
Applicant: 华为云计算技术有限公司
IPC: G06F16/2455 , G06F16/242 , G06F16/28
Abstract: 本申请实施例公开了一种数据查询方法,该方法中,可以在将数据查询任务拆分为多个子任务之后,确定每个子任务的可行的处理方式,从而根据每个子任务的可行的处理方式,获得多个任务组合。其中,任务组合中的子任务的处理方式会影响基于该任务组合执行数据查询任务时的查询代价,也即是说多个子任务以及相应的处理方式的不同组合方式下,数据查询任务的执行效率和执行成本的综合代价常常不同。基于此,该方法中,可以通过代价评估模型从多个任务组合中确定出查询代价最低的目标任务组合,从而自适应地实现流批任务的分配,并能充分利用批流一体的数据处理框架的资源,以查询效率和成本等综合最优的方式进行数据查询,获得查询结果。
-
公开(公告)号:CN112711564B
公开(公告)日:2024-04-09
申请号:CN201911019899.0
申请日:2019-10-24
Applicant: 华为云计算技术有限公司
IPC: G06F16/16
Abstract: 本申请提供了一种合并处理方法。合并节点接收计算节点发送的合并任务,合并任务包括指示信息以及增量元数据文件,其中,指示信息用于指示需要被合并的数据文件;合并节点根据指示信息以及增量元数据文件从存储系统中获取需要被合并的数据文件,数据文件包括不可写表格以及持久化数据文件;合并节点对需要被合并的数据文件执行合并任务,以生成合并结果以及更新元数据文件,合并结果包括合并后的持久化数据文件;合并节点将合并结果以及更新元数据文件存储到存储系统中;合并节点将更新元数据文件发送给计算节点。上述方案能够将前端业务和后端业务进行分离,从而提高用户体验。
-
公开(公告)号:CN116049257A
公开(公告)日:2023-05-02
申请号:CN202310002161.3
申请日:2023-01-03
Applicant: 深圳华为云计算技术有限公司
IPC: G06F16/2458
Abstract: 本申请提供了一种确定异常检测算法的方法,用于根据自动确定对被检测的目标时序数据进行异常检测的异常检测算法。所述方法包括:确定第一目标算法集合,第一目标算法集合包括多个异常检测算法,第一目标算法集合中的异常检测算法具有对目标时序数据进行异常检测的能力;根据第一目标异常类型确定第二目标算法集合,第二目标算法集合包括多个异常检测算法,第二目标算法集合中的异常检测算法具有对第一目标异常类型的异常进行检测的能力;根据第一目标算法集合和第二目标算法集合,确定第一目标异常检测算法。本申请还提供了对应的装置、计算设备集群、芯片、计算机可读存储介质以及计算机程序产品。
-
公开(公告)号:CN111221857B
公开(公告)日:2023-04-18
申请号:CN201811323197.7
申请日:2018-11-08
Applicant: 华为云计算技术有限公司
IPC: G06F16/2455 , G06F16/27 , H04L67/1097
Abstract: 本申请提供了一种从分布式系统中读数据记录的方法和装置,分布式系统包括分区服务器和客户端,分区服务器用于管理数据表中的父分区,分区服务器存储有第一分区范围检查器,第一分区范围检查器的分区范围为父分区的分区范围,该方法包括:分区服务器在拆分父分区的过程中,接收客户端发送的第一读请求,第一读请求用于请求从父分区中读取第一数据记录;分区服务器根据第一读请求从父分区中读取第一数据记录,读取第一数据记录的完成时刻晚于父分区的拆分完成时刻;分区服务器使用第一分区范围检查器检查第一数据记录的行键值所属的分区的分区范围,有利于提高读取数据记录的准确性。
-
公开(公告)号:CN110275772B
公开(公告)日:2022-12-13
申请号:CN201810215536.3
申请日:2018-03-15
Applicant: 华为云计算技术有限公司
IPC: G06F9/50
Abstract: 本申请实施例提供了一种数据处理方法及其相关设备,用于对第一元数据执行快照操作后,根据第一元数据的快照对第一元数据进行拆分并对拆分过程中客户端发送的数据进行处理。本申请实施例方法包括:第一分区服务器模块接收拆分指令,拆分指令用于指示第一分区服务器模块对第一元数据进行拆分;第一分区服务器模块对第一元数据执行快照操作;第一分区服务器模块根据第一元数据的快照和预置的拆分策略将第一元数据拆分为至少两段数据范围的元数据,至少两段数据范围的元数据包括第二元数据和第三元数据,第二元数据存储于第二分区,第三元数据存储于第三分区;第一分区服务器模块根据拆分结果对客户端发送的数据进行处理。
-
-
-
-
-
-
-
-
-