-
公开(公告)号：CN116048425A
公开(公告)日：2023-05-02
申请号：CN202310220769.3
申请日：2023-03-09
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F3/06 , G06F12/0897
Abstract: 本申请公开了一种分层缓存方法、系统及相关组件，涉及分布式存储领域，该分层缓存方法应用于分布式存储系统的每一计算节点，包括：利用客户端进程监测客户端向分布式存储系统发出的文件IO操作请求，当监测到文件IO操作请求，将文件IO操作请求重定向到服务端进程；利用服务端进程判断文件IO操作请求对应的目标存储位置是否为聚合缓存层；若否，从分布式存储系统底层读取文件IO操作请求对应的数据，并将数据缓存到聚合缓存层；若是，从聚合缓存层中读取数据，并将数据返回到客户端进程，以便客户端进程将数据返回至客户端。本申请能够提高海量小文件数据集的IO性能，改善高并发元数据密集型文件系统业务中元数据造成的性能瓶颈。
-
公开(公告)号：CN115167786A
公开(公告)日：2022-10-11
申请号：CN202211081604.4
申请日：2022-09-06
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本申请涉及分布式存储技术领域，公开了一种数据存储方法、装置、系统、设备和介质，在获取到IO数据时，按照设定的数据结构区以及设定的数据块粒度，将IO数据转换到内存中；数据结构区包括用于存储元数据信息的第一区域、用于存储数据描述信息的第二区域、用于存储对象数据的第三区域以及日志区。通过设定数据结构区，可以支持IO数据进行内存映射。按照内存的字节粒度以及数据结构区存储的信息，将IO数据映射到内核缓冲区；用户缓冲区和内核缓冲区共享一块映射数据；用户缓冲区为硬件存储设备上的缓冲区。用户缓冲区和内核缓冲区共享一块映射数据，不再需要将IO数据从内核缓冲区拷贝到用户缓冲区，减少了存储系统IO时延。
-
公开(公告)号：CN115167786B
公开(公告)日：2023-01-24
申请号：CN202211081604.4
申请日：2022-09-06
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本申请涉及分布式存储技术领域，公开了一种数据存储方法、装置、系统、设备和介质，在获取到IO数据时，按照设定的数据结构区以及设定的数据块粒度，将IO数据转换到内存中；数据结构区包括用于存储元数据信息的第一区域、用于存储数据描述信息的第二区域、用于存储对象数据的第三区域以及日志区。通过设定数据结构区，可以支持IO数据进行内存映射。按照内存的字节粒度以及数据结构区存储的信息，将IO数据映射到内核缓冲区；用户缓冲区和内核缓冲区共享一块映射数据；用户缓冲区为硬件存储设备上的缓冲区。用户缓冲区和内核缓冲区共享一块映射数据，不再需要将IO数据从内核缓冲区拷贝到用户缓冲区，减少了存储系统IO时延。
-
公开(公告)号：CN115952005A
公开(公告)日：2023-04-11
申请号：CN202310161610.9
申请日：2023-02-24
Applicant: 浪潮电子信息产业股份有限公司
Inventor： 臧林劼
IPC: G06F9/50 , G06F16/11 , G06F16/16 , G06F16/182
Abstract: 本发明公开了一种元数据负载均衡方法、装置、设备及可读存储介质，涉及分布式存储技术领域，包括：获取分布式文件存储集群中各元数据服务分别对应的元数据负载压力信息；根据各元数据负载压力信息确定元数据迁移时刻、待元数据迁移的各目标元数据服务及各目标元数据服务之间的待迁移元数据数量；获取各目标元数据服务中各子树分区分别对应的迁移参数；根据各迁移参数确定导出子树分区和导入子树分区；当达到元数据迁移时刻时，将待迁移元数据数量的元数据从导出子树分区迁移至导入子树分区。本发明提升了对业务负载特征的辨识度，较大地降低了产生对元数据进行不必要、无效的迁移的概率，具有较好的元数据负载均衡特性。
-
公开(公告)号：CN115437581B
公开(公告)日：2023-03-24
申请号：CN202211388738.0
申请日：2022-11-08
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F3/06
Abstract: 本申请属于存储技术领域，公开了一种数据处理方法、装置、设备及可读存储介质，该方法包括：获取不同纠删策略的纠删参数，并分别按照各个纠删参数，生成对应的纠删预置组；按照各个纠删预置组，在分布式存储系统中创建不同的纠删池；启用各个纠删池，并获取各个纠删池的服务性能；比对各个服务性能，确定最佳服务性能；关闭最佳服务性能之外的纠删池，并以满条带为下刷数据的触发条件进行数据处理。本申请可根据处理数据的性能情况自动调整纠删条带大小，以取得最优的聚合纠删效果，而每次写入均写满整个条带，可省去数据补齐环节，解决了非对齐条带需要读取整个条带，再进行覆盖写导致的读放大问题，能够提升分布式存储的IO性能、存储利用率。
-
Patent Agency Ranking
公开(公告)号：CN115437581A
公开(公告)日：2022-12-06
申请号：CN202211388738.0
申请日：2022-11-08
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F3/06
Abstract: 本申请属于存储技术领域，公开了一种数据处理方法、装置、设备及可读存储介质，该方法包括：获取不同纠删策略的纠删参数，并分别按照各个纠删参数，生成对应的纠删预置组；按照各个纠删预置组，在分布式存储系统中创建不同的纠删池；启用各个纠删池，并获取各个纠删池的服务性能；比对各个服务性能，确定最佳服务性能；关闭最佳服务性能之外的纠删池，并以满条带为下刷数据的触发条件进行数据处理。本申请可根据处理数据的性能情况自动调整纠删条带大小，以取得最优的聚合纠删效果，而每次写入均写满整个条带，可省去数据补齐环节，解决了非对齐条带需要读取整个条带，再进行覆盖写导致的读放大问题，能够提升分布式存储的IO性能、存储利用率。
-
公开(公告)号：CN115951844B
公开(公告)日：2023-06-06
申请号：CN202310232841.4
申请日：2023-03-13
Applicant: 浪潮电子信息产业股份有限公司
Inventor： 臧林劼
IPC: G06F3/06 , G06F16/182 , G06F16/176 , G06F9/52
Abstract: 本发明公开了一种分布式文件系统的文件锁管理方法、设备及介质，该方法包括：获取与多个用户各自对应的当前读写操作请求；针对每个所述当前读写操作请求，基于读写操作请求获取对应的字节级粒度的文件锁；文件锁包括目标文件范围；将文件锁发送至与当前读写操作请求对应的当前客户端，以便多个用户基于各自的文件锁对相应的文件进行读写操作，可以实现不同用户对同一个文件不同位置同时写数据，从而提高IO性能。
-
公开(公告)号：CN115865097B
公开(公告)日：2023-05-23
申请号：CN202310127875.7
申请日：2023-02-17
Applicant: 浪潮电子信息产业股份有限公司
Inventor： 臧林劼
Abstract: 本申请公开了一种数据压缩方法、系统、设备及计算机可读存储介质，应用于分布式存储系统，获取待压缩的目标数据；获取压缩操作的数据大小值；基于数据大小值将目标数据分类为第一类数据及第二类数据，第一类数据为大小等于数据大小值的整数倍的数据，第二类数据为大小不等于数据大小值的整数倍的数据；对第二类数据进行处理，得到大小等于数据大小值的整数倍的第三类数据；对第一类数据和第三类数据进行压缩，得到目标压缩数据。本申请中，分布式存储系统将第二类数据处理成大小等于压缩操作的数据大小值的第三类数据，这样对第一类数据和第二类数据进行压缩的话，相当于对大小等于数据大小值的整数倍的数据进行压缩，提高了数据压缩效率。
-
公开(公告)号：CN115934372A
公开(公告)日：2023-04-07
申请号：CN202310220010.5
申请日：2023-03-09
Applicant: 浪潮电子信息产业股份有限公司
Inventor： 臧林劼
Abstract: 本申请公开了一种数据处理方法、系统、设备及计算机可读存储介质，涉及分布式存储技术领域，应用于分布式存储系统，获取待处理的目标连接；在工作者线程池中选取第一数量个工作者线程作为目标连接的目标工作者线程，第一数量的值大于等于2；基于目标锁机制及目标工作者线程处理目标连接，并调整目标工作者线程的数量以管控目标工作者线程间的锁争用；目标锁机制包括：在目标连接的目标共享数据不存在锁的情况下，目标工作者线程对目标共享数据进行加锁并进行处理，待处理完成后，解除目标共享数据的锁。本申请中，增强了分布式存储系统抵抗工作者线程性能波动的能力，且可以降低因锁争用而带来的I/O延迟，保证分布式存储系统的性能稳定性。
-
公开(公告)号：CN115865097A
公开(公告)日：2023-03-28
申请号：CN202310127875.7
申请日：2023-02-17
Applicant: 浪潮电子信息产业股份有限公司
Inventor： 臧林劼
Abstract: 本申请公开了一种数据压缩方法、系统、设备及计算机可读存储介质，应用于分布式存储系统，获取待压缩的目标数据；获取压缩操作的数据大小值；基于数据大小值将目标数据分类为第一类数据及第二类数据，第一类数据为大小等于数据大小值的整数倍的数据，第二类数据为大小不等于数据大小值的整数倍的数据；对第二类数据进行处理，得到大小等于数据大小值的整数倍的第三类数据；对第一类数据和第三类数据进行压缩，得到目标压缩数据。本申请中，分布式存储系统将第二类数据处理成大小等于压缩操作的数据大小值的第三类数据，这样对第一类数据和第二类数据进行压缩的话，相当于对大小等于数据大小值的整数倍的数据进行压缩，提高了数据压缩效率。
-
-
-
-
-
-
-
-
-
Search Results
17
records
(took 0.035 seconds)
