公开(公告)号：CN118860993B

公开(公告)日：2025-03-07

申请号：CN202411346256.8

申请日：2024-09-26

Applicant: 济南浪潮数据技术有限公司

Inventor： 臧林劼

IPC: G06F16/172 ,  G06F16/14 ,  G06F16/182 ,  G06F3/06 ,  G06F9/54 ,  H04L67/1097 ,  H04L67/133 ,  H04L69/16

Abstract: 本发明实施例提供了一种基于分布式存储系统的元数据处理方法和装置，应用于存储技术领域，包括：通过将分布式存储系统的元数据池中部分元数据缓存至元数据缓存层容器，元数据缓存层容器设置有多个元数据分区，在元数据缓存层容器的目标元数据分区命中元数据访问请求对应的目标元数据时，将目标元数据返回给客户端，在元数据缓存层容器的多个元数据分区中均未命中元数据访问请求对应的目标元数据时，从元数据池中获取元数据访问请求对应的目标元数据，将目标元数据缓存至元数据缓存层容器的目标元数据分区中，并将目标元数据返回给客户端，实现了在分布式存储系统设置有元数据缓存层容器，并对元数据进行缓存，以满足对元数据的访问需求。

公开(公告)号：CN118535579B

公开(公告)日：2024-12-06

申请号：CN202411008803.1

申请日：2024-07-26

Applicant: 济南浪潮数据技术有限公司

Inventor： 臧林劼

IPC: G06F16/22 ,  G06F16/18

Abstract: 本发明实施例提供了一种基于对象存储系统的数据处理方法和装置，应用于存储技术领域，所述对象存储系统以对象为基本存储单元存储数据，所述对象存储系统设置有对象存储接口、事件接口，所述对象存储接口、事件接口并行处理请求，所述方法包括：响应于客户端发送的针对对象的第一请求，通过所述对象存储系统中对象存储接口，对所述对象存储系统中存储的对象进行处理；响应于客户端发送的针对文件的第二请求，通过所述对象存储系统中事件接口，将所述对象存储系统中存储的对象映射为文件系统中文件，并呈现所述文件系统的文件系统视图，以提供文件系统目录树结构，实现了在对象存储系统提供文件系统，提升了对象存储系统的兼容性。

公开(公告)号：CN118550477B

公开(公告)日：2024-10-29

申请号：CN202411018597.2

申请日：2024-07-29

Applicant: 济南浪潮数据技术有限公司

Inventor： 臧林劼

IPC: G06F3/06

Abstract: 本申请涉及一种重复数据删除方法、产品、计算机设备和存储介质。本申请通过将写入数据对象切片为多个预存数据块实现在分布式存储系统中存储，而且将预存数据块映射定位方式实现在线存储到守护进程中，基于在线重删方式将所述守护进程中的预存数据块的块指纹与存储节点中已存储的数据块的块指纹对比识别是否为重复数据，对应重复数据的块指纹对应的引用计数加一可避免写入重复数据，而且对应删除所述守护进程中为重复数据的预存数据块及块指纹可避免在海量小文件场景中随机广播方式导致性能下降的问题，同时在线重删方式能实现在分布式存储系统数据均衡中避免查找过程复杂导致性能下降的问题。

公开(公告)号：CN118394762B

公开(公告)日：2024-08-23

申请号：CN202410853504.1

申请日：2024-06-28

Applicant: 济南浪潮数据技术有限公司

Inventor： 臧林劼

IPC: G06F16/22 ,  G06F16/2457 ,  G06F16/2458 ,  G06F16/27

Abstract: 本发明公开了一种分布式存储系统的存储管理方法、设备、程序产品及介质，涉及分布式存储技术领域，该方法包括：获取预设键值数据库的点查询请求；检测预设键值数据库的键索引中是否存在目标用户键对应的逻辑键的聚合记录；若是，则根据聚合记录，确定目标用户键对应的物理键；根据目标用户键对应的物理键，从存储设备中检索目标用户键对应的逻辑键，并利用目标用户键对应的逻辑键，从存储设备中检索目标用户键对应的用户值；本发明将多个较小的逻辑键聚合成较大的物理键，能够节约内存和存储设备的硬件资源；并且能够便捷地确认逻辑键是在聚合的物理键中存储还是直接存储，提升了分布式存储系统的性能，提高了键值查询效率。

公开(公告)号：CN117707437B

公开(公告)日：2024-06-21

申请号：CN202410167105.X

申请日：2024-02-06

Applicant: 济南浪潮数据技术有限公司

Inventor： 臧林劼

IPC: G06F3/06

Abstract: 本发明涉及计算机存储技术领域，提供一种基于分布式存储系统的虚拟磁盘存储方法及装置，该方法包括：写数据操作，写数据操作包括：将写数据请求发送至虚拟磁盘的回写缓存中，回写缓存用于将写数据请求作为日志缓存；并将至少一个写数据请求依次存储在以日志命名的请求对象序列中；将请求对象序列缓存在本地磁盘的物理块存储区域的写缓存中；将写数据请求对应的待写入数据由虚拟磁盘的回写缓存写入至本地磁盘的物理块存储区域的写缓存中；在物理块存储区域的写缓存中的待写入数据达到预定数量时，按请求对象序列中写数据请求的顺序，将写数据请求对应的待写入数据以数据对象的形式写入服务器端的存储器。本发明避免了存储过程中数据丢失的问题。

公开(公告)号：CN115328403A

公开(公告)日：2022-11-11

申请号：CN202211000002.1

申请日：2022-08-19

Applicant: 济南浪潮数据技术有限公司

Inventor： 臧林劼

IPC: G06F3/06

Abstract: 本申请公开了一种数据重删方法、装置、设备及存储介质，涉及数据重删技术领域，应用于分布式存储系统，该方法包括：当监测到数据写入请求时对写入数据进行分块以得到若干数量的数据块；根据存储信息将数据块分为元数据对象和块对象并将元数据对象存储至元数据池、块对象存储至块池；基于元数据池与块池之间的块映射，从预先构建的虚拟指纹表中筛选出引用计数信息中的引用计数达到预设阈值的目标数据标识，以便将目标数据标识提交到实际指纹表中，并根据目标数据标识确定相应的数据块位置进行数据重删。通过本申请的技术方案，可以提高数据重删效率，同时降低分布式存储系统实际存储的数据量，节省存储设施建设的运营成本。

公开(公告)号：CN118689411B

公开(公告)日：2025-01-28

申请号：CN202411187564.0

申请日：2024-08-28

Applicant: 济南浪潮数据技术有限公司

Inventor： 臧林劼

IPC: G06F3/06

Abstract: 本申请涉及一种配额管理方法、计算机设备、存储介质和程序产品，所属领域为分布式存储技术领域，所述方法包括：获取客户端写请求对应的时间序列标识，并基于时间序列标识和配额预测机制，确定目标时间窗口内的配额预测值；基于目标时间窗口内的配额预测值，利用客户端从元数据服务器中获取配额标识认证信息；基于配额标识认证信息，生成写请求，并利用客户端向目标存储节点发送写请求；目标存储节点根据写请求对应的配额标识认证信息分配存储资源，并返回至客户端。本申请能够自适应不同的业务负载，通过对配额进行预测，降低配额消息更新时，引起的分布式存储系统性能开销问题，保证了配额管理的全局一致性、准确性和性能。

公开(公告)号：CN117687970B

公开(公告)日：2024-07-02

申请号：CN202410146907.2

申请日：2024-02-02

Applicant: 济南浪潮数据技术有限公司

Inventor： 臧林劼 ,  何怡川 ,  孟祥瑞 ,  李晓伟

IPC: G06F16/14 ,  G06F16/182 ,  G06F16/13 ,  G06F16/172

Abstract: 本申请公开了一种元数据检索方法、装置及电子设备和存储介质，涉及计算机技术领域，应用于分布式存储系统中的元数据服务器，该方法包括：为元数据设置元数据标签，将元数据标签存储至索引数据库中；其中，元数据标签用于记录元数据的索引与存储元数据的数据块分区的对应关系；当接收到客户端对目标元数据的检索请求时，在索引数据库中检索目标元数据对应的目标元数据标签；基于目标元数据标签在元数据池中检索目标元数据，并基于检索结果响应客户端。本申请解决了需要外置元数据检索服务来满足元数据检索功能带来的数据一致性和扩展性问题，同时提高了元数据的检索效率。

公开(公告)号：CN117609195B

公开(公告)日：2024-06-18

申请号：CN202410096503.7

申请日：2024-01-24

Applicant: 济南浪潮数据技术有限公司

Inventor： 臧林劼 ,  何怡川 ,  孟祥瑞 ,  李晓伟

IPC: G06F16/21 ,  G06F16/27 ,  G06F16/22

Abstract: 本申请公开了一种分布式存储系统的对象管理方法、装置及设备和介质，涉及计算机技术领域，该方法包括：根据对象归置组单元的时间参数和虚拟空间组的时间参数将多个对象归置组单元映射至多个虚拟空间组；当分布式存储系统扩展时，创建新的第一虚拟空间组，将扩展的存储设备映射至第一虚拟空间组；根据对象归置组单元的时间参数确定需要迁移的第一待迁移对象归置组单元，并将第一待迁移对象归置组单元迁移至第一虚拟空间组中扩展的存储设备。本申请降低了分布式存储系统扩展时的数据迁移量。

公开(公告)号：CN119182776A

公开(公告)日：2024-12-24

申请号：CN202410853503.7

申请日：2024-06-28

Applicant: 济南浪潮数据技术有限公司

Inventor： 臧林劼 ,  孟祥瑞 ,  李晓伟

IPC: H04L67/1008 ,  H04L67/1097

Abstract: 本发明公开了一种分布式存储系统的容量均衡方法、设备、程序产品及介质，涉及分布式存储技术领域，该方法包括：在当前迭代次数未超过目标迭代次数时，根据各存储设备的容量使用率，确定待迁移存储设备；其中，容量使用率为各存储设备的已用空间与设备容量之商；确定待迁移存储设备中的待迁移分片组和待迁移分片组对应的目的存储设备；其中，目的存储设备的容量使用率低于待迁移存储设备的容量使用率；将待迁移分片组迁移到目的存储设备；可见，本发明能够通过迭代的方式进行容量均衡，使得每次迭代过程中能够将对象分片从容量使用率高的存储设备重新分配到容量使用率低的存储设备来实现容量均衡，同时不影响分布式一致性规则。