-
公开(公告)号:CN119311660A
公开(公告)日:2025-01-14
申请号:CN202311427094.6
申请日:2023-10-30
Applicant: 华为云计算技术有限公司
IPC: G06F16/21 , G06F16/22 , G06F16/2458
Abstract: 一种数据处理方法及装置,应用于数据处理系统中的前端设备,数据处理系统还包括目标设备和数据库,目标设备用于采集目标设备运行过程中的多个时序数据,每个时序数据包括时序数据的采集时间。该方法包括:前端设备获取第一时序数据,判断第一时序数据是否是顺序数据。进一步的,前端设备在确定第一时序数据是顺序数据的情况下,将第一时序数据存储至数据库;或者,前端设备在确定第一时序数据是乱序数据的情况下,将第一时序数据存放至前端设备的排序缓存中。如此,避免前端设备将乱序数据存储至数据库而造成的对数据库性能的影响。
-
公开(公告)号:CN114201337A
公开(公告)日:2022-03-18
申请号:CN202010914534.0
申请日:2020-09-02
Applicant: 华为云计算技术有限公司
Abstract: 本申请提供一种备份方法,包括:对象存储服务OBS服务器从数据库系统获取待上传文件的第一校验值和待匹配对象文件路径清单;OBS服务器获取待匹配对象文件路径清单对应待匹配对象文件的第二校验值;若第一校验值与第二校验值相同,则OBS服务器将待匹配对象文件拷贝至预设备份路径。本申请通过比较待上传文件与OBS服务器中已有历史文件内容是否相同,避免重复上传文件,可以降低备份上传的数据量,提升备份性能。进一步地,通过待匹配对象文件路径清单确定可能相同的待匹配文件,缩小匹配文件的范围,提高备份效率。进一步地,通过校验值方式判断文件是否相同,避免读取文件内容,提高备份效率和准确率。本申请还提供相关装置。
-
公开(公告)号:CN120030012A
公开(公告)日:2025-05-23
申请号:CN202410372304.4
申请日:2024-03-27
Applicant: 华为云计算技术有限公司
IPC: G06F16/22 , G06F16/2455 , G06F16/28
Abstract: 本申请公开了一种存储数据的方法、装置及存储介质,属于通信领域。所述方法包括:接收多条数据,其中,每条数据包括多个标签的标签值,所述多个标签包括被指定为排序键的第一标签和第二标签,所述第一标签在所述排序键中的顺序在所述第二标签之前;确定所述每条数据中第一标签的标签值所属的标签值集合;基于所述排序键的顺序、所述每条数据中第一标签的标签值所属的标签值集合的标识信息、以及所述每条数据中第二标签的标签值,确定所述多条数据的存储顺序;基于所述多条数据的存储顺序,存储所述多条数据。本申请能够提高数据在数据库中存储的有序性。
-
公开(公告)号:CN118708561A
公开(公告)日:2024-09-27
申请号:CN202310266217.6
申请日:2023-03-16
Applicant: 华为云计算技术有限公司
IPC: G06F16/21 , G06F16/22 , G06F16/2455 , G06F3/06
Abstract: 一种数据存储的方法、装置以及计算设备,该方法包括:第一节点处理多个访问请求的过程中,在第一节点的本地存储缓存热数据,并将冷数据迁移至云存储服务,在第一节点的本地存储缓存冷数据的元数据,其中,云存储服务为云计算平台在云计算资源部署的服务,云计算平台在其管理的云计算资源部署云数据库系统,第一节点为云数据库系统的数据库主节点或者数据库从节点,热数据和冷数据是数据库的不同数据表,或不同的所述数据表的表分区,热数据和所述冷数据是按照或数据表的表分区被访问的次数和数据量的一种或两种来确定的。该方法能够在不影响性能的情况下节省数据存储的成本。
-
公开(公告)号:CN112711564B
公开(公告)日:2024-04-09
申请号:CN201911019899.0
申请日:2019-10-24
Applicant: 华为云计算技术有限公司
IPC: G06F16/16
Abstract: 本申请提供了一种合并处理方法。合并节点接收计算节点发送的合并任务,合并任务包括指示信息以及增量元数据文件,其中,指示信息用于指示需要被合并的数据文件;合并节点根据指示信息以及增量元数据文件从存储系统中获取需要被合并的数据文件,数据文件包括不可写表格以及持久化数据文件;合并节点对需要被合并的数据文件执行合并任务,以生成合并结果以及更新元数据文件,合并结果包括合并后的持久化数据文件;合并节点将合并结果以及更新元数据文件存储到存储系统中;合并节点将更新元数据文件发送给计算节点。上述方案能够将前端业务和后端业务进行分离,从而提高用户体验。
-
公开(公告)号:CN117076441A
公开(公告)日:2023-11-17
申请号:CN202210490642.9
申请日:2022-05-10
Applicant: 华为云计算技术有限公司
IPC: G06F16/22
Abstract: 提供了一种创建索引的方法及存储引擎。该方法包括:确定数据库表的数据特征;根据所述数据特征,在多个索引树中确定第一索引树;在第一索引树与数据库表的索引采用的第二索引树不相同的情况中,根据第一索引树更新索引。该方案根据数据库表的数据特征调整索引采用的索引树,可以解决现有的存储引擎中索引的数据结构保持不变导致的索引性能下降的问题。
-
公开(公告)号:CN119903054A
公开(公告)日:2025-04-29
申请号:CN202311412603.8
申请日:2023-10-27
Applicant: 华为云计算技术有限公司
Abstract: 本申请提供了一种数据处理方法和系统,属于云计算技术领域。该方法包括:数据处理系统接收第一写请求,该数据处理系统包括第一计算集群、第二计算集群和共享存储,共享存储用于存储第一数据表的数据,该第一写请求用于将第一数据写入第一数据表,第一数据表归属于第一计算集群;第二计算集群将归属于第一数据表的第一数据写入共享存储;第二计算集群将第一数据对应的第一元数据发送给第一计算集群;第一计算集群存储第一数据对应的第一元数据。该方法能够满足扩展计算集群支持数据写入的要求,同时仍由表归属的计算集群负责表数据对应的元数据的写入,不需部署单独的元数据管理集群,在降低系统成本的同时不存在元数据管理集群的性能瓶颈问题。
-
-
公开(公告)号:CN117785833A
公开(公告)日:2024-03-29
申请号:CN202211141043.2
申请日:2022-09-20
Applicant: 华为云计算技术有限公司
Abstract: 本申请公开了一种事务管理方法、装置、计算设备集群及存储介质,该方法包括:数据库系统接收客户端发送的第一事务;确定第一事务是否为多引擎事务;若第一事务是多引擎事务,则将第一事务在第一数据库引擎中对应的快照的生成信息记录到第一存储区域,其中,第一存储区域中的信息用于协调第一顺序和第二顺序的一致性,第一顺序为第一事务和其他多引擎事务在第一数据库引擎中对应的快照之间的生成顺序,第二顺序为第一事务和其他多引擎事务在第二数据库引擎中对应的快照之间的生成顺序。本申请实施例的方法用于具有多个数据库引擎的数据库系统中,可以确保多引擎事务的全局一致性。
-
公开(公告)号:CN117472873A
公开(公告)日:2024-01-30
申请号:CN202210872167.1
申请日:2022-07-22
Applicant: 华为云计算技术有限公司
IPC: G06F16/21
Abstract: 本申请公开了一种数据迁移方法、装置、计算设备集群及存储介质,属于计算机技术领域。本申请提供的技术方案中,基于数据集在第一时间段内被访问的数据量生成第一访问趋势信息,并基于第一访问趋势信息来预测第一时间段之后的第二时间段内的第二访问趋势信息,从而根据该第二访问趋势信息和访问量阈值来对该数据集进行数据迁移。通过上述技术方案,参考了历史一段时间内数据集被访问的数据量的变化趋势,从而根据历史变化趋势中的规律性,对未来一段时间内被访问的数据量的变化趋势进行准确预测,进而为未来一段时间内进行数据迁移的过程提供指导,有效地提升了数据迁移的效率,大大节省了数据存储的成本。
-
-
-
-
-
-
-
-
-