公开(公告)号：CN114003372A

公开(公告)日：2022-02-01

申请号：CN202111158109.4

申请日：2021-09-30

Applicant: 济南浪潮数据技术有限公司

Inventor： 王帅阳 ,  李文鹏 ,  李旭东

IPC: G06F9/50 ,  G06F16/172 ,  G06F16/182

Abstract: 本发明提供了一种分布式文件系统HDFS服务容量配额实现的方法、系统、设备及可读介质，该方法包括：响应于HDFS服务接收到addblock请求，申请block大小的配额并构建hdfsquota缓存结构和缓存记录；响应于HDFS服务接收到文件的写请求，基于文件的属性更新缓存记录；响应于文件写完成，判断缓存记录中预设属性大小是否大于文件大小；响应于缓存记录中预设属性大小大于文件大小，将申请配额中未使用的容量归还服务器。通过使用本发明的方案，能够实现HDFS协议过程的容量配额功能，能够及时归还未使用的配额，避免容量浪费，能够通过定时自检归还配额，增加功能可用性。

公开(公告)号：CN113626382A

公开(公告)日：2021-11-09

申请号：CN202110741785.8

申请日：2021-06-30

Applicant: 济南浪潮数据技术有限公司

Inventor： 王帅阳 ,  李文鹏 ,  李旭东

IPC: G06F16/13 ,  G06F16/172 ,  G06F16/182

Abstract: 本申请提供一种分布式文件系统中聚合对象的索引方法，包括：接收小文件写入请求并将对应的小文件写入obj缓存；在小文件数据写入量满足聚合缓存的预设容量时，组建数据缓存队列；数据缓存队列包括数据队列和obj缓存的索引队列；将数据队列中的数据写入普通池，并将索引队列中索引数据写入高速池；根据索引队列中的索引数据更新文件聚合元数据。本申请针对聚合对象ino图表进行优化，将filemap表设计到高速池中，以减小对普通磁盘的性能影响。同时针对索引文件对象，按照聚合大件的生命周期进行管理，避免产生垃圾对象的残留。本申请还提供一种分布式文件系统中聚合对象的索引系统、计算机可读存储介质和电子设备，具有上述有益效果。

公开(公告)号：CN113609094A

公开(公告)日：2021-11-05

申请号：CN202110779540.4

申请日：2021-07-09

Applicant: 济南浪潮数据技术有限公司

Inventor： 王帅阳 ,  李文鹏 ,  李旭东

IPC: G06F16/182 ,  G06F16/172

Abstract: 本发明公开了一种控制数据下刷的方法、系统、设备和存储介质，方法包括：响应于接收到写请求，依次对数据包进行写操作，并判断当前数据包的写操作是否为缓存写；响应于所述当前数据包的写操作为缓存写，将所述数据包的数据写入数据缓存层，并判断数据的大小是否达到分布式对象的大小；响应于所述数据的大小达到分布式对象的大小，对所述数据进行持久化，并判断当前待确认批量结构的数量是否超过阈值；以及响应于当前待确认批量结构的数量超过阈值，对持久化后的数据进行范围检测，并根据所述范围检测的结果进行下刷。本发明通过分批、异步下刷和整体应答的机制，同时在数据缓存层采用整条带下刷机制，两层协作保障数据快速持久化与安全应答。