一种基于分布式存储系统的元数据处理方法和装置

    公开(公告)号:CN118860993A

    公开(公告)日:2024-10-29

    申请号:CN202411346256.8

    申请日:2024-09-26

    Inventor: 臧林劼

    Abstract: 本发明实施例提供了一种基于分布式存储系统的元数据处理方法和装置,应用于存储技术领域,包括:通过将分布式存储系统的元数据池中部分元数据缓存至元数据缓存层容器,元数据缓存层容器设置有多个元数据分区,在元数据缓存层容器的目标元数据分区命中元数据访问请求对应的目标元数据时,将目标元数据返回给客户端,在元数据缓存层容器的多个元数据分区中均未命中元数据访问请求对应的目标元数据时,从元数据池中获取元数据访问请求对应的目标元数据,将目标元数据缓存至元数据缓存层容器的目标元数据分区中,并将目标元数据返回给客户端,实现了在分布式存储系统设置有元数据缓存层容器,并对元数据进行缓存,以满足对元数据的访问需求。

    配额管理方法、计算机设备、存储介质和程序产品

    公开(公告)号:CN118689411A

    公开(公告)日:2024-09-24

    申请号:CN202411187564.0

    申请日:2024-08-28

    Inventor: 臧林劼

    Abstract: 本申请涉及一种配额管理方法、计算机设备、存储介质和程序产品,所属领域为分布式存储技术领域,所述方法包括:获取客户端写请求对应的时间序列标识,并基于时间序列标识和配额预测机制,确定目标时间窗口内的配额预测值;基于目标时间窗口内的配额预测值,利用客户端从元数据服务器中获取配额标识认证信息;基于配额标识认证信息,生成写请求,并利用客户端向目标存储节点发送写请求;目标存储节点根据写请求对应的配额标识认证信息分配存储资源,并返回至客户端。本申请能够自适应不同的业务负载,通过对配额进行预测,降低配额消息更新时,引起的分布式存储系统性能开销问题,保证了配额管理的全局一致性、准确性和性能。

    一种基于对象存储系统的数据处理方法和装置

    公开(公告)号:CN118535579A

    公开(公告)日:2024-08-23

    申请号:CN202411008803.1

    申请日:2024-07-26

    Inventor: 臧林劼

    Abstract: 本发明实施例提供了一种基于对象存储系统的数据处理方法和装置,应用于存储技术领域,所述对象存储系统以对象为基本存储单元存储数据,所述对象存储系统设置有对象存储接口、事件接口,所述对象存储接口、事件接口并行处理请求,所述方法包括:响应于客户端发送的针对对象的第一请求,通过所述对象存储系统中对象存储接口,对所述对象存储系统中存储的对象进行处理;响应于客户端发送的针对文件的第二请求,通过所述对象存储系统中事件接口,将所述对象存储系统中存储的对象映射为文件系统中文件,并呈现所述文件系统的文件系统视图,以提供文件系统目录树结构,实现了在对象存储系统提供文件系统,提升了对象存储系统的兼容性。

    一种数据访问方法、装置、分布式存储系统及设备和介质

    公开(公告)号:CN117591038B

    公开(公告)日:2024-06-11

    申请号:CN202410071339.4

    申请日:2024-01-18

    Abstract: 本申请公开了一种数据访问方法、装置、分布式存储系统及设备和介质,涉及计算机技术领域,该方法包括:当委派服务器接收到第一客户端对于目标文件的授权访问请求时,判断是否存在第二客户端具有对目标目录的访问权限;若是,则向第一客户端返回第二客户端的地址信息,以便第一客户端通过第二客户端对目标文件的进行读写;若否,则向第一客户端授权目标目录的访问权限;在第一客户端对目标目录的访问授权期间内,接收第一客户端对于目标文件的符合可移植操作系统接口语义的读写请求发送至转换设备,以便转换设备将符合可移植操作系统接口语义的读写请求转换为符合对象存储接口语义的读写请求,并通过分布式对象存储集群进行响应。

    基于分布式存储系统的虚拟磁盘存储方法及装置

    公开(公告)号:CN117707437A

    公开(公告)日:2024-03-15

    申请号:CN202410167105.X

    申请日:2024-02-06

    Inventor: 臧林劼

    Abstract: 本发明涉及计算机存储技术领域,提供一种基于分布式存储系统的虚拟磁盘存储方法及装置,该方法包括:写数据操作,写数据操作包括:将写数据请求发送至虚拟磁盘的回写缓存中,回写缓存用于将写数据请求作为日志缓存;并将至少一个写数据请求依次存储在以日志命名的请求对象序列中;将请求对象序列缓存在本地磁盘的物理块存储区域的写缓存中;将写数据请求对应的待写入数据由虚拟磁盘的回写缓存写入至本地磁盘的物理块存储区域的写缓存中;在物理块存储区域的写缓存中的待写入数据达到预定数量时,按请求对象序列中写数据请求的顺序,将写数据请求对应的待写入数据以数据对象的形式写入服务器端的存储器。本发明避免了存储过程中数据丢失的问题。

    一种分布式存储系统,一种访问方法及组件

    公开(公告)号:CN113821170A

    公开(公告)日:2021-12-21

    申请号:CN202111014190.9

    申请日:2021-08-31

    Inventor: 臧林劼

    Abstract: 本申请公开了一种分布式存储系统,一种访问方法及组件。本申请提供的分布式存储系统在部署有CIFS服务和VMware服务的情况下,用户可以基于虚拟桌面云实现即登录即访问,且无需手动挂载相应目录,降低了访问流程的复杂性,再加上基于RSS网卡的多通道技术的使用,能够加速访问效率。同时,利用域控服务器管理访问分布式存储系统的所有用户的访问权限,实现了用户权限的统一管理和用户间的隔离,利用DDC数据中心存储用户的具体访问信息,便于追溯查询用户访问内容。相应地,本申请提供的一种访问方法及组件,也同样具有上述技术效果。

    分布式存储业务请求处理方法、装置及分布式存储系统

    公开(公告)号:CN118677913B

    公开(公告)日:2025-01-21

    申请号:CN202411156404.X

    申请日:2024-08-22

    Inventor: 臧林劼

    Abstract: 本发明涉及计算机技术领域,公开了一种分布式存储业务请求处理方法、装置及分布式存储系统,该方法包括:获取分布式存储系统的当前业务总延迟和当前业务吞吐量;根据分布式存储系统的当前业务总延迟和当前业务吞吐量,确定业务请求节流阀的当前允许值;当接收到用户端发送的多个业务请求时,根据业务请求节流阀的当前允许值,将相应数量的业务请求传输至目标存储节点的目标任务队列;响应于目标任务队列中的业务请求,将业务数据存储至对应的目标存储设备。通过根据业务请求节流阀的当前允许值,限制向目标存储节点发送的业务请求的数量,保证系统业务延迟和业务吞吐量,避免业务请求发生拥塞,为提高分布式存储系统的存储服务质量奠定了基础。

    数据存储方法、系统、程序产品、电子设备及存储介质

    公开(公告)号:CN118467236B

    公开(公告)日:2024-11-19

    申请号:CN202410910399.0

    申请日:2024-07-09

    Inventor: 臧林劼

    Abstract: 本发明实施例提供了一种数据存储方法、系统、程序产品、电子设备及存储介质,涉及计算机技术领域,该方法包括:获取原始数据对应的原始数据块和全局校验块;将原始数据块按序进行分组,得到原始数据对应的组;根据每个组中的原始数据块和全局校验块,构建第一数量的初始条带,并将第一数量的初始条带确定为原始数据对应的第一条带集合;根据第一条带集合中的初始条带,生成每个组对应的第一数量的本地校验块;将第一条带集合和本地校验块分布存储至所述存储节点中。本发明实施例简化了解码计算过程的计算量,降低了分布式存储系统的计算开销,缩短了进行数据修复的时长,提高了进行数据修复的效率。

    分布式存储业务请求处理方法、装置及分布式存储系统

    公开(公告)号:CN118677913A

    公开(公告)日:2024-09-20

    申请号:CN202411156404.X

    申请日:2024-08-22

    Inventor: 臧林劼

    Abstract: 本发明涉及计算机技术领域,公开了一种分布式存储业务请求处理方法、装置及分布式存储系统,该方法包括:获取分布式存储系统的当前业务总延迟和当前业务吞吐量;根据分布式存储系统的当前业务总延迟和当前业务吞吐量,确定业务请求节流阀的当前允许值;当接收到用户端发送的多个业务请求时,根据业务请求节流阀的当前允许值,将相应数量的业务请求传输至目标存储节点的目标任务队列;响应于目标任务队列中的业务请求,将业务数据存储至对应的目标存储设备。通过根据业务请求节流阀的当前允许值,限制向目标存储节点发送的业务请求的数量,保证系统业务延迟和业务吞吐量,避免业务请求发生拥塞,为提高分布式存储系统的存储服务质量奠定了基础。

    重复数据删除方法、产品、计算机设备和存储介质

    公开(公告)号:CN118550477A

    公开(公告)日:2024-08-27

    申请号:CN202411018597.2

    申请日:2024-07-29

    Inventor: 臧林劼

    Abstract: 本申请涉及一种重复数据删除方法、产品、计算机设备和存储介质。本申请通过将写入数据对象切片为多个预存数据块实现在分布式存储系统中存储,而且将预存数据块映射定位方式实现在线存储到守护进程中,基于在线重删方式将所述守护进程中的预存数据块的块指纹与存储节点中已存储的数据块的块指纹对比识别是否为重复数据,对应重复数据的块指纹对应的引用计数加一可避免写入重复数据,而且对应删除所述守护进程中为重复数据的预存数据块及块指纹可避免在海量小文件场景中随机广播方式导致性能下降的问题,同时在线重删方式能实现在分布式存储系统数据均衡中避免查找过程复杂导致性能下降的问题。

Patent Agency Ranking