-
公开(公告)号:CN112015586B
公开(公告)日:2024-04-26
申请号:CN201910452614.6
申请日:2019-05-28
Applicant: 华为云计算技术有限公司
Abstract: 本申请实施例公开了一种数据重构计算方法以及相关装置,用于节约内存资源,减少IO的放大,优化数据库的性能。本申请实施例方法包括获取同一个数据页中至少一个重构日志,每个重构日志对应一个版本号,每个版本号指示数据页被修改的顺序;将至少一个版本号聚合成第一重构日志,该第一重构日志占用单个重构日志条目,第一重构日志的版本号为数据页被修改的顺序的最大值;将第一重构日志写入存储介质,以用于对数据页进行重构计算。
-
公开(公告)号:CN117667369A
公开(公告)日:2024-03-08
申请号:CN202211033616.X
申请日:2022-08-26
Applicant: 华为云计算技术有限公司
Abstract: 本申请提供一种内存管理方法、电子设备、芯片系统及可读存储介质,涉及通信技术领域,一定程度上解决了现有的RDMA技术中内存资源分配不合理的问题。该方法应用于第一电子设备,包括:确定目标应用待存储的数据量和与目标应用关联的物理地址空间中的有效内存空间,有效内存空间包括N个第一物理地址单元指示的内存空间,每个第一物理地址单元包括至少一个具备数据读写权限的物理地址,N为大于或等于0的整数;若数据量大于有效内存空间,则根据数据量与有效内存空间之间的第一差值对有效内存空间进行扩展;若数据量小于有效内存空间,则根据有效内存空间与数据量之间的第二差值对有效内存空间进行缩减。
-
公开(公告)号:CN117289853A
公开(公告)日:2023-12-26
申请号:CN202210689329.8
申请日:2022-06-17
Applicant: 华为云计算技术有限公司
IPC: G06F3/06
Abstract: 公开了一种数据处理方法、装置以及设备,以减小数据落盘时的写放大。该方法包括:获取数据写请求,通过用户态驱动将数据写请求中的N个数据块追加写入磁盘的目标逻辑块中的N个逻辑页中。其中,数据写请求中包括N个数据块,每一数据块包括用户数据和用户数据的元数据。N个数据块中的用户数据为待写文件的部分数据,N为大于0的自然数。目标逻辑块为待写文件所分配的逻辑块。目标逻辑块包括M个逻辑页,每一数据块的大小与逻辑页的大小相同。
-
公开(公告)号:CN116009764A
公开(公告)日:2023-04-25
申请号:CN202111237167.6
申请日:2021-10-22
Applicant: 华为云计算技术有限公司
Inventor: 刘强
Abstract: 本申请提供了一种数据压缩方法、装置、设备及存储介质,一种数据压缩方法包括:多个待压缩数据块;根据关联策略对多个待压缩数据块进行压缩,获得一个或者多个压缩块;关联策略包括多个待压缩数据块的时间属性之间的关联性和多个待压缩数据块的数据属性之间的关联性。实施本申请,能够根据不同的压缩需求调节关联策略,从而改变对多个待压缩数据块的压缩方式,满足不同的压缩需求。
-
公开(公告)号:CN120029817A
公开(公告)日:2025-05-23
申请号:CN202410050635.6
申请日:2024-01-12
Applicant: 华为云计算技术有限公司
Abstract: 本申请实施例公开了一种数据写入方法以及装置,用于降低分布式存储系统中客户端的内存消耗。本申请实施例方法包括:客户端接收用户写入的第一数据块,第一数据块用于写入存储设备中的目标条带。客户端基于第一数据块生成第一临时校验块。客户端将第一数据块和第一临时校验块发送至服务端。服务端将第一数据块和第一临时校验块存储至存储设备。服务端确定第一数据块为目标条带的尾部数据块,将第一临时校验块和第二临时校验块进行纠删码合并,得到合并后的目标校验块,第二临时校验块包括目标条带中除第一数据块之外的其他数据块生成的一个或多个临时校验块。服务端将目标校验块存储至存储设备。
-
公开(公告)号:CN118860257A
公开(公告)日:2024-10-29
申请号:CN202310403456.1
申请日:2023-04-14
Applicant: 华为云计算技术有限公司
IPC: G06F3/06
Abstract: 一种数据处理方法、装置和设备,涉及存储技术领域,该方法包括:获取第一业务数据的第一元数据,第一业务数据存储在存储系统中的目标存储路径中,第一元数据用于指示第一业务数据的特征信息;确定第一业务数据中的第一重复数据,第一重复数据包括目标存储路径中相同或相似的数据;通过目标缩减算法,对第一重复数据进行缩减处理,得到缩减后的第一数据;将第一数据写入存储系统,以使得存储系统的存储节点更新存储系统中的第一元数据,并基于更新后的第一元数据获取第一数据。这样,通过独立于存储系统的数据处理系统,为存储系统提供缩减算法,以及相似数据重删缩减的服务,可以降低缩减操作对存储系统的开销,降低数据缩减实现难度。
-
公开(公告)号:CN118152104A
公开(公告)日:2024-06-07
申请号:CN202211505602.3
申请日:2022-11-29
Applicant: 华为云计算技术有限公司
IPC: G06F9/50
Abstract: 本申请提供了一种共享资源分配方法、装置及计算设备集群。在方法实施例中,共享资源由多个服务节点提供的多个服务共享,方法包括:接收多个服务节点中的第一服务节点发送的资源请求;基于资源请求对应的第一服务对共享资源的资源使用量,确定第一概率;根据第一概率确定是否响应于资源请求对第一服务分配共享资源中的资源。由此,通过本申请实施例提供的技术方案,考虑请求对应的服务对共享资源的资源使用量,当资源有剩余时,可以充分利用剩余资源,确保服务质量。
-
公开(公告)号:CN117762322A
公开(公告)日:2024-03-26
申请号:CN202211137642.7
申请日:2022-09-19
Applicant: 华为云计算技术有限公司
IPC: G06F3/06
Abstract: 本申请涉及数据处理领域,特别涉及一种数据存储方法、存储装置及设备。其中,该方法应用于包括控制器和存储芯片的存储装置,存储芯片包括被分配给至少一个日志的多个第一物理擦除块PEB,其中,每个日志分配有N个第一PEB,且每个第一PEB仅被分配给一个日志,N为大于或等于1的整数;该方法包括:控制器接收第一存储请求,第一存储请求包括待存储的第一数据;控制器确定第一数据属于至少一个日志中的第一日志;控制器将第一数据存储到被分配给第一日志的第一PEB中。该方法可以提高存储装置的存储空间利用率。
-
-
-
-
-
-
-