一种元数据的寻址方法、装置、介质以及产品

    公开(公告)号:CN118394848B

    公开(公告)日:2024-08-27

    申请号:CN202410834385.5

    申请日:2024-06-26

    Inventor: 臧林劼

    Abstract: 本发明公开了一种元数据的寻址方法、装置、介质以及产品,涉及分布式存储技术领域。在预设时间内通过元数据特征参数筛选得到的目标数量的元数据服务路径,使得对大规模分布式存储文件系统的元数据进行局部管理,记录并统计元数据的路径信息,以提升元数据的局部性管理。同时,采用粒度计算方式得到第一路径结果,对元数据路径进行粒度的选择,提升元数据的时间局部性。同时,基于路径寻优策略对第一路径结果进行评估计算得到的第二路径结果,以此基于局部性函数对第二路径结果进行局部性处理,使得改变元数据局部性数据结构,确保分布式文件系统元数据存储路径的空间局部性,提高分布式存储文件系统中元数据操作的最优路径和存储系统IO性能。

    一种元数据的寻址方法、装置、介质以及产品

    公开(公告)号:CN118394848A

    公开(公告)日:2024-07-26

    申请号:CN202410834385.5

    申请日:2024-06-26

    Inventor: 臧林劼

    Abstract: 本发明公开了一种元数据的寻址方法、装置、介质以及产品,涉及分布式存储技术领域。在预设时间内通过元数据特征参数筛选得到的目标数量的元数据服务路径,使得对大规模分布式存储文件系统的元数据进行局部管理,记录并统计元数据的路径信息,以提升元数据的局部性管理。同时,采用粒度计算方式得到第一路径结果,对元数据路径进行粒度的选择,提升元数据的时间局部性。同时,基于路径寻优策略对第一路径结果进行评估计算得到的第二路径结果,以此基于局部性函数对第二路径结果进行局部性处理,使得改变元数据局部性数据结构,确保分布式文件系统元数据存储路径的空间局部性,提高分布式存储文件系统中元数据操作的最优路径和存储系统IO性能。

    一种元数据检索方法、装置及电子设备和存储介质

    公开(公告)号:CN117687970A

    公开(公告)日:2024-03-12

    申请号:CN202410146907.2

    申请日:2024-02-02

    Abstract: 本申请公开了一种元数据检索方法、装置及电子设备和存储介质,涉及计算机技术领域,应用于分布式存储系统中的元数据服务器,该方法包括:为元数据设置元数据标签,将元数据标签存储至索引数据库中;其中,元数据标签用于记录元数据的索引与存储元数据的数据块分区的对应关系;当接收到客户端对目标元数据的检索请求时,在索引数据库中检索目标元数据对应的目标元数据标签;基于目标元数据标签在元数据池中检索目标元数据,并基于检索结果响应客户端。本申请解决了需要外置元数据检索服务来满足元数据检索功能带来的数据一致性和扩展性问题,同时提高了元数据的检索效率。

    存储系统中的数据管理方法、装置、设备、介质及产品

    公开(公告)号:CN119690357A

    公开(公告)日:2025-03-25

    申请号:CN202510200151.X

    申请日:2025-02-24

    Abstract: 本发明公开了一种存储系统中的数据管理方法、装置、设备、介质及产品,应用于存储技术领域,可以对存储系统中的存储数据及其元数据进行更为合理有效地管理,进一步降低了存储系统的管理成本与管理难度,方法包括:确定待存储数据;其中,所述待存储数据包括目标数据和所述目标数据对应的目标元数据;根据预设划分比例和各所述目标元数据的访问频率,将各所述目标元数据划分为热元数据和冷元数据;将所述热元数据保存至高速存储池,并将所述热元数据对应的目标数据保存至低速存储池;将所述冷元数据和所述冷元数据对应的目标数据保存至所述低速存储池。

    数据存储方法、系统、程序产品、电子设备及存储介质

    公开(公告)号:CN118467236A

    公开(公告)日:2024-08-09

    申请号:CN202410910399.0

    申请日:2024-07-09

    Inventor: 臧林劼

    Abstract: 本发明实施例提供了一种数据存储方法、系统、程序产品、电子设备及存储介质,涉及计算机技术领域,该方法包括:获取原始数据对应的原始数据块和全局校验块;将原始数据块按序进行分组,得到原始数据对应的组;根据每个组中的原始数据块和全局校验块,构建第一数量的初始条带,并将第一数量的初始条带确定为原始数据对应的第一条带集合;根据第一条带集合中的初始条带,生成每个组对应的第一数量的本地校验块;将第一条带集合和本地校验块分布存储至所述存储节点中。本发明实施例简化了解码计算过程的计算量,降低了分布式存储系统的计算开销,缩短了进行数据修复的时长,提高了进行数据修复的效率。

    分布式存储系统的存储管理方法、设备、程序产品及介质

    公开(公告)号:CN118394762A

    公开(公告)日:2024-07-26

    申请号:CN202410853504.1

    申请日:2024-06-28

    Inventor: 臧林劼

    Abstract: 本发明公开了一种分布式存储系统的存储管理方法、设备、程序产品及介质,涉及分布式存储技术领域,该方法包括:获取预设键值数据库的点查询请求;检测预设键值数据库的键索引中是否存在目标用户键对应的逻辑键的聚合记录;若是,则根据聚合记录,确定目标用户键对应的物理键;根据目标用户键对应的物理键,从存储设备中检索目标用户键对应的逻辑键,并利用目标用户键对应的逻辑键,从存储设备中检索目标用户键对应的用户值;本发明将多个较小的逻辑键聚合成较大的物理键,能够节约内存和存储设备的硬件资源;并且能够便捷地确认逻辑键是在聚合的物理键中存储还是直接存储,提升了分布式存储系统的性能,提高了键值查询效率。

    一种分布式存储系统的对象管理方法、装置及设备和介质

    公开(公告)号:CN117609195A

    公开(公告)日:2024-02-27

    申请号:CN202410096503.7

    申请日:2024-01-24

    Abstract: 本申请公开了一种分布式存储系统的对象管理方法、装置及设备和介质,涉及计算机技术领域,该方法包括:根据对象归置组单元的时间参数和虚拟空间组的时间参数将多个对象归置组单元映射至多个虚拟空间组;当分布式存储系统扩展时,创建新的第一虚拟空间组,将扩展的存储设备映射至第一虚拟空间组;根据对象归置组单元的时间参数确定需要迁移的第一待迁移对象归置组单元,并将第一待迁移对象归置组单元迁移至第一虚拟空间组中扩展的存储设备。本申请降低了分布式存储系统扩展时的数据迁移量。

    一种数据访问方法、装置、分布式存储系统及设备和介质

    公开(公告)号:CN117591038A

    公开(公告)日:2024-02-23

    申请号:CN202410071339.4

    申请日:2024-01-18

    Abstract: 本申请公开了一种数据访问方法、装置、分布式存储系统及设备和介质,涉及计算机技术领域,该方法包括:当委派服务器接收到第一客户端对于目标文件的授权访问请求时,判断是否存在第二客户端具有对目标目录的访问权限;若是,则向第一客户端返回第二客户端的地址信息,以便第一客户端通过第二客户端对目标文件的进行读写;若否,则向第一客户端授权目标目录的访问权限;在第一客户端对目标目录的访问授权期间内,接收第一客户端对于目标文件的符合可移植操作系统接口语义的读写请求发送至转换设备,以便转换设备将符合可移植操作系统接口语义的读写请求转换为符合对象存储接口语义的读写请求,并通过分布式对象存储集群进行响应。

Patent Agency Ranking