-
-
公开(公告)号:CN117493282A
公开(公告)日:2024-02-02
申请号:CN202211336268.3
申请日:2022-10-28
Applicant: 华为云计算技术有限公司
Abstract: 本申请公开了一种基于文件系统的元数据管理方法及其相关设备,在获取多个文件的元数据时,仅需少量的操作既可完成,而不需要付出大量的操作,可降低文件系统的操作成本,提高元数据范围查询的效率。本申请的方法包括:获取针对目录中M个文件的元数据获取请求,元数据获取请求包含目录的索引编号,M≥2;检测是否存在与目录的索引编号对应的第一非易失性内存NVM区域的起始地址,第一NVM区域为NVM中的一个连续内存区域;若存在第一NVM区域的起始地址,则基于第一NVM区域的起始地址,从第一NVM区域中获取M个键值对,M个键值对中的第i个键值对包含目录的索引编号以及第i个文件的元数据,i=1,...,M。
-
-
公开(公告)号:CN114253908A
公开(公告)日:2022-03-29
申请号:CN202110220635.2
申请日:2021-02-26
Applicant: 华为云计算技术有限公司
Abstract: 本申请公开了一种键值存储系统的数据管理方法,属于数据存储技术领域。键值存储系统的逻辑地址空间包括:多个子逻辑地址空间,所述多个子逻辑地址空间互不重叠,所述多个子逻辑地址空间中存储的数据分别使用多个数据结构一一对应管理,该方法包括:获取输入/输出I/O操作请求,所述I/O操作请求中携带有待操作数据的索引信息;基于所述索引信息,确定所述待操作数据的键;基于所述键,在所述多个数据结构中确定用于存储所述待操作数据的键值对的目标数据结构;在所述目标数据结构中对所述键值对进行I/O操作。本申请提高了该键值存储系统根据该数据结构对I/O操作请求进行响应的效率和键值存储系统的性能。
-
公开(公告)号:CN118093532A
公开(公告)日:2024-05-28
申请号:CN202310212957.1
申请日:2023-03-07
Applicant: 华为云计算技术有限公司
IPC: G06F16/174 , G06F16/16 , G06F16/13
Abstract: 本申请公开了一种数据处理方法及装置,属于存储技术领域。该方法包括:获取多个待压缩数据块;将多个待压缩数据块合并;对合并后的多个待压缩数据块进行压缩处理,得到经过合并压缩的数据集合。本申请采取对数据进行合并压缩的方式,简化了数据的压缩流程,有效地减小了数据压缩的时延,提升了数据压缩效率。
-
公开(公告)号:CN113544636B
公开(公告)日:2024-05-03
申请号:CN201980093598.4
申请日:2019-03-12
Applicant: 华为云计算技术有限公司
IPC: G06F3/06
Abstract: 本申请提供一种亚健康节点的管理方法和装置,该方法包括:计算节点向第一存储节点发送第一输入输出IO请求;所述计算节点基于所述第一IO请求确定所述第一存储节点为亚健康节点;所述计算节点向控制节点发送标识消息,所述标识消息用于指示所述第一存储节点为亚健康节点。在本申请实施例中,基于IO请求,计算节点确定存储节点为亚健康节点,从而指示该存储节点为亚健康节点,使得识别亚健康节点的流程能够基于IO请求完成。或者说,以IO请求为粒度识别亚健康节点。有利于减少识别亚健康节点的时间。
-
公开(公告)号:CN117493388A
公开(公告)日:2024-02-02
申请号:CN202211336267.9
申请日:2022-10-28
Applicant: 华为云计算技术有限公司
IPC: G06F16/2455 , G06F16/22 , G06F16/21 , G06F9/46
Abstract: 本申请公开一种基于键值存储系统的数据管理方法及基于文件系统的元数据管理方法,可充分利用键值存储系统所在的服务器的CPU资源以及内存资源,且可有效地发挥键值存储系统的并发能力。本申请的键值存储系统包含缓存以及多个存储实例,每个存储实例的用户数据表存储有键值对,该方法包括:键值存储系统可获取用户的事务中所需读取的多个键,并从多个键所在的存储实例读取多个键的值。系统还可获取事务中所需写入的多个键的新值,若这多个键位于不同的存储实例,系统可先完成前台操作,以提前通知用户多个键的新值已写入成功,然后在后台操作中,向多个键所在的若干个存储实例并发写入多个键的新值,从而完成用户的事务。
-
公开(公告)号:CN116257180A
公开(公告)日:2023-06-13
申请号:CN202310002616.1
申请日:2023-01-03
Applicant: 深圳华为云计算技术有限公司
IPC: G06F3/06
Abstract: 本申请公开了一种数据访问方法及装置,属于存储技术领域。该方法包括:基于数据写入指令获取待写入的数据集合,数据集合包括多个数据块;对数据集合进行重删压缩处理,得到经过压缩的数据集合;将经过压缩的数据集合合并存储在存储介质上,并获取经过压缩的数据集合中每个数据块在存储介质上的位置。本申请在读取数据集合中的目标数据块时,无需读取数据集合中所有的数据块,降低了读取目标数据块时的读放大,有助于提高存储系统的读性能。
-
公开(公告)号:CN114124102A
公开(公告)日:2022-03-01
申请号:CN202010890849.6
申请日:2020-08-29
Applicant: 华为云计算技术有限公司
IPC: H03M7/30
Abstract: 本申请公开了一种数据压缩方法,该方法包括:选择基准数据中的部分数据,并对部分数据进行切分得到第一字符串集合;从待压缩数据获取至少一个待压缩字符串,将至少一个待压缩字符的指纹在第一字符串集合对应的指纹集合中进行比对;在未获取到匹配项的情况下,将部分数据以预设步长进行扩大,并对扩大后的部分数据进行切分得到第二字符串集合,将至少一个待压缩字符串的指纹在第二字符串集合对应的指纹集合中进行比对,在获取到匹配项的情况下,记录匹配项对应的字符串在基准数据中的偏移量以及长度到差量数据中。利用上述方法对待压缩数据进行压缩时,可以有效提高压缩效率。
-
-
-
-
-
-
-
-