公开(公告)号：CN113609093A

公开(公告)日：2021-11-05

申请号：CN202110744220.5

申请日：2021-06-30

Applicant: 济南浪潮数据技术有限公司

Inventor： 张亚东 ,  苏志恒 ,  胡永刚

IPC: G06F16/182 ,  G06F16/17

Abstract: 本申请提供一种分布式文件系统的逆序读方法，具体技术方案如下包括：接收逆序读请求；将上一次预读的开始位置作为触发位，设置预读偏移量进行4M对齐；根据对齐的预设偏移量计算预读文件大小，并根据所述预读文件大小重新计算预读偏移量，并确定预读开始位置和预读长度；根据所述预读开始位置和所述预读长度异步获取数据，并将数据加载到缓存。本申请能快速获取数据，提高带宽与并发量。通过实现逆序预读能够进一步实现逆序读的异步读取，有效提高CPU的使用效率，进一步提高读带宽与并发量。本申请还提供一种分布式文件系统的逆序读系统、计算机可读存储介质和电子设备，具有上述有益效果。

公开(公告)号：CN115357466A

公开(公告)日：2022-11-18

申请号：CN202211061751.5

申请日：2022-08-31

Applicant: 济南浪潮数据技术有限公司

Inventor： 齐鹏鹤 ,  苏志恒

IPC: G06F11/34

Abstract: 本申请公开了一种混合读写性能诊断方法、装置以及介质，通过在客户端运行测试脚本并分析OPS统计和元数据操作时延统计，在检测到OPS波动或元数据操作时延突变的情况下，在服务端判断是否存在相应的OPS波动或时间波动；若未检测到服务端存在相应的波动，则确认元数据操作存在性能瓶颈点；若服务端存在相应的波动，则确认数据操作存在性能瓶颈点。采用本技术方案，通过在客户端和服务端分别进行OPS统计和元数据操作时延统计，当在客户端检测到波动后在服务端检测是否存在相应规律的波动，以确认性能瓶颈点的位置。当存在相应波动时，确认是在元数据操作中存在性能瓶颈点，若不存在，则确认是在数据操作中存在性能瓶颈点。

公开(公告)号：CN119127903A

公开(公告)日：2024-12-13

申请号：CN202411356755.5

申请日：2024-09-26

Applicant: 济南浪潮数据技术有限公司

Inventor： 荣章权 ,  张永振 ,  黄军 ,  苏志恒

IPC: G06F16/23 ,  G06F16/84 ,  G06F16/2455

Abstract: 本申请实施例提供了一种数据的更新方法和装置、存储介质及程序产品，涉及数据处理领域，该方法包括：响应于数据更新请求，获取第一数据；将第一数据存储至缓存区域中，并为存储在缓存区域中的第一数据创建与内存区域之间的映射关系，得到映射地址；在缓存区域中存储的第一数据达到数据下刷条件的情况下，将携带有映射地址的数据下刷请求发送给存储服务节点，其中，数据下刷请求用于请求将第一数据存储至存储服务节点中，存储服务节点用于利用映射地址访问内存区域，并通过映射关系获取第一数据，存储服务节点还用于在获取到第一数据之后将第一数据写入至存储服务节点中。采用上述方案，解决了数据处理的问题。

公开(公告)号：CN113609093B

公开(公告)日：2023-12-22

申请号：CN202110744220.5

申请日：2021-06-30

Applicant: 济南浪潮数据技术有限公司

Inventor： 张亚东 ,  苏志恒 ,  胡永刚

IPC: G06F16/182 ,  G06F16/17

Abstract: 本申请提供一种分布式文件系统的逆序读方法，具体技术方案如下包括：接收逆序读请求；将上一次预读的开始位置作为触发位，设置预读偏移量进行4M对齐；根据对齐的预设偏移量计算预读文件大小，并根据所述预读文件大小重新计算预读偏移量，并确定预读开始位置和预读长度；根据所述预读开始位置和所述预读长度异步获取数据，并将数据加载到缓存。本申请能快速获取数据，提高带宽与并发量。通过实现逆序预读能够进一步实现逆序读的异步读取，有效提高CPU的使用效率，进一步提高读带宽与并发量。本申请还提供一种分布式文件系统的逆序读系统、计算机可读存储介质和电子设备，具有上述有益效果。

公开(公告)号：CN117093554B

公开(公告)日：2025-05-02

申请号：CN202311086216.X

申请日：2023-08-28

Applicant: 济南浪潮数据技术有限公司

Inventor： 张亚东 ,  苏志恒

IPC: G06F16/172 ,  G06F16/182

Abstract: 本发明提供了一种基于分布式文件系统的跳读预读方法及装置，涉及计算机技术领域，针对传统文件系统中存在的跳读性能瓶颈，本发明通过记录分析数据读取偏移和长度，计算文件跳读的步长，实现多模式识别，包括严格跳读、2元严格交替跳读和局部随机跳读。在识别的基础上，引入智能预读机制，根据跳读模式优化预读策略，显著提升系统的数据读取性能。此外，本发明还具备低成本、高兼容性等优势，适用于大规模数据处理和分布式计算等领域，能够有效地提升文件数据访问效率，提供更优的用户体验。本发明能够有效地识别不同的跳读模式并相应地优化跳读和预读操作，以提高系统数据读取性能。

公开(公告)号：CN113568881B

公开(公告)日：2025-02-14

申请号：CN202110656287.3

申请日：2021-06-11

Applicant: 济南浪潮数据技术有限公司

Inventor： 苏志恒

IPC: G06F16/176 ,  G06F16/172 ,  G06F16/182 ,  G06F9/50

Abstract: 本发明公开了一种实现读写共享的方法、系统、设备和存储介质，方法包括：响应于准备以读、写或读写混合的方式打开文件，根据操作的类型给所述文件的句柄中的打开方式字段值设置对应的值并添加读写共享标识；响应于成功打开文件，基于所述打开方式字段值和所述读写共享标识向元数据服务器端发出申请权限的请求并接收申请结果；响应于申请权限成功并对所述文件进行读或写，判断当前权限中是否存在读缓存权限、写缓存权限或读写共享权限；以及响应于当前权限中存在读缓存权限、写缓存权限或读写共享权限，对所述文件进行缓存读或缓存写。本发明通过使用读写共享技术，实现多客户端混合读写共享的支持，提升了分布式系统的易用性和健壮性。

公开(公告)号：CN117093554A

公开(公告)日：2023-11-21

申请号：CN202311086216.X

申请日：2023-08-28

Applicant: 济南浪潮数据技术有限公司

Inventor： 张亚东 ,  苏志恒

IPC: G06F16/172 ,  G06F16/182

Abstract: 本发明提供了一种基于分布式文件系统的跳读预读方法及装置，涉及计算机技术领域，针对传统文件系统中存在的跳读性能瓶颈，本发明通过记录分析数据读取偏移和长度，计算文件跳读的步长，实现多模式识别，包括严格跳读、2元严格交替跳读和局部随机跳读。在识别的基础上，引入智能预读机制，根据跳读模式优化预读策略，显著提升系统的数据读取性能。此外，本发明还具备低成本、高兼容性等优势，适用于大规模数据处理和分布式计算等领域，能够有效地提升文件数据访问效率，提供更优的用户体验。本发明能够有效地识别不同的跳读模式并相应地优化跳读和预读操作，以提高系统数据读取性能。

公开(公告)号：CN117093155A

公开(公告)日：2023-11-21

申请号：CN202311111958.3

申请日：2023-08-31

Applicant: 济南浪潮数据技术有限公司

Inventor： 苏志恒

IPC: G06F3/06

Abstract: 本发明提供一种软拷贝查询加速的方法、系统、设备和存储介质，方法包括：对原文件进行软拷贝以得到软拷贝文件，并将所述原文件的数据信息记录到数据块映射表中；响应于接收到对所述软拷贝文件的读请求，根据所述读请求遍历数据块映射表以确定数据块映射表中是否存在所述读请求对应的记录；响应于数据块映射表中存在所述读请求对应的记录，根据所述读请求确定原文件以进行数据读取操作；以及响应于接收到对所述软拷贝文件的写请求，根据所述写请求更新所述软拷贝文件对应原文件的数据块映射表。本发明使用数据块映射表的方法，在内存占用较少的情况下，解决了软拷贝文件读取时重复查找数据所在原文件的问题。

公开(公告)号：CN115328858A

公开(公告)日：2022-11-11

申请号：CN202210998411.9

申请日：2022-08-19

Applicant: 济南浪潮数据技术有限公司

Inventor： 苏志恒

IPC: G06F16/13 ,  G06F16/182 ,  G06F16/17

Abstract: 本申请公开了一种分布式存储系统的分片上传方法、装置及介质，涉及分布式存储领域，提高分片小文件的上传效率，接收客户端下发的分片上传请求，创建分片小文件，在分片小文件中写入分片上传请求的分片数据，将分片小文件的分片编号和分片大小信息记录至临时索引文件中，当分片数据上传完成后，创建空的大文件，大文件的大小为分片数据的实际大小，读取临时索引文件记录的分片信息并更新至大文件的元数据中。上传的分片数据存储在对应的分片小文件中，其对应的分片小文件的分片编号及分片数据的分片大小信息记录至大文件的元数据中，不需要对小文件进行组合，减少了拷贝次数，提高了分片上传的效率。

公开(公告)号：CN113590560A

公开(公告)日：2021-11-02

申请号：CN202110732350.7

申请日：2021-06-29

Applicant: 济南浪潮数据技术有限公司

Inventor： 苏志恒

IPC: G06F16/172 ,  G06F16/176

Abstract: 本发明提出了一种分布式系统的缓存优化方法、系统、设备和存储介质，该方法包括运行分布式系统和客户端，从内存中申请内存空间缓存客户端数据，并启动缓存管理线程管理客户端；申请文件权限，申请成功后通过读写缓存的方式文件读写，计算读写范围对应的文件对象；在文件对象加锁成功后进行读写操作，操作完成后解锁；当缓存中待下刷数据达到阈值，申请缓存全局互斥锁，添加成功后，对文件对象加对象锁并进行对象范围内的数据合并；合并成功后下刷数据到存储介质，直到下刷完成后释放互斥锁。基于该方法还提出了缓存优化系统、设备和存储介质，通过把缓存中全局互斥锁细粒度化到对象锁，增加了对象间的并发性，提高了集群的吞吐率和读写性能。