公开(公告)号：CN117762870A

公开(公告)日：2024-03-26

申请号：CN202211167075.X

申请日：2022-09-23

Applicant: 华为技术有限公司

Inventor： 马浩海 ,  张瑞 ,  张家全 ,  赵玥

IPC: G06F16/16

Abstract: 一种数据处理方法及相关设备，将动态的业务状态和存储状态作为是否执行小文件合并的确定依据，能够在合适的时机触发小文件合并的执行过程，以期提升存储系统的性能。在该方法中，数据处理设备获取第一存储模块的业务状态，该业务状态用于指示该第一存储模块的业务繁忙程度或业务需求；该数据处理设备获取该第一存储模块的存储状态，该存储状态用于指示该第一存储模块执行小文件合并的必要程度；该数据处理设备基于该业务状态和该存储状态确定配置信息，该配置信息用于指示该第一存储模块是否执行小文件合并。

公开(公告)号：CN118296191A

公开(公告)日：2024-07-05

申请号：CN202310280917.0

申请日：2023-03-13

Applicant: 华为技术有限公司

Inventor： 张家全 ,  郭曌 ,  马浩海

IPC: G06F16/901 ,  G06F16/9035 ,  G06F16/18 ,  G06F16/182

Abstract: 本申请提供了一种元数据管理方法，由元数据管理系统执行，包括：接收计算客户端发送的第一元数据，第一元数据为计算客户端完成数据操作时执行元数据提交操作所生成的针对数据操作的元数据，将第一元数据转换为键值KV形式的多个第二元数据，多个第二元数据形成树形结构，树形结构的每一层提供不同元数据键对应的值，存储多个第二元数据。该方法通过重新设计元数据的组织方式，实现高效的多级分层索引。多级分层索引保证元数据在每级尽可能地根据查询条件过滤掉不需要的元数据，避免全量元数据加载内存，提升元数据处理效率，加速数据湖元数据的读写性能。