公开(公告)号：CN114003564A

公开(公告)日：2022-02-01

申请号：CN202111149310.6

申请日：2021-09-29

Applicant: 济南浪潮数据技术有限公司

Inventor： 刘少荘 ,  李文鹏

IPC: G06F16/16 ,  G06F16/172

Abstract: 本发明提供一种数据下刷的方法、系统、设备和存储介质，方法包括：响应于接收到写请求，将所述写请求数据块合并到当前批次，并更新所述当前批次的时间戳；判断所述当前批次的总大小是否已达到下刷数据块阈值或所述写请求数据块是否为文件最后一个数据块；响应于所述当前批次的总大小已达到下刷数据块阈值和/或所述写请求数据块为文件最后一个数据块，将所述当前批次的数据块添加到下刷队列；以及通过下刷线程循环扫描所述下刷队列，依次下刷各批次的数据块。本发明采用分批次下刷的方式，减少了对写性能的影响；采用多种数据下刷策略保证数据及时下刷；数据下刷在单独的线程中处理，减轻主线程的业务压力。

公开(公告)号：CN113824812A

公开(公告)日：2021-12-21

申请号：CN202110992067.8

申请日：2021-08-27

Applicant: 济南浪潮数据技术有限公司

Inventor： 王帅阳 ,  李文鹏 ,  李旭东

IPC: H04L29/12 ,  H04L29/08 ,  H04L12/24 ,  G06F16/182

Abstract: 本申请涉及HDFS服务获取服务节点IP的方法、装置及存储介质。其中方法包括：通过名字节点确定读写操作的数据节点后，从HDFS的全部HDFS客户端中选取指定数量的HDFS客户端作为服务节点，服务节点用于提供HDFS服务；按照HDFS客户端的指定数量、HDFS客户端IP的长度构建IPS数组来存放服务节点的IP；对IPS数组中存储的IP进行处理，将IPS数组中的第一个位置存储的IP设置为HDFS服务本地IP；按照IPS数组提供服务节点IP顺序进行故障切换。HDFS服务提供文件系统读写服务过程中，通过本申请，当前HDFS客户端出现故障导致无法继续提供读写服务时，按照IPS数组中服务节点IP顺序进行故障切换，由下一顺位的服务节点IP对应的HDFS客户端提供读写文件系统的服务，提高HDFS服务的稳定性、冗余性。

公开(公告)号：CN113688107A

公开(公告)日：2021-11-23

申请号：CN202110872163.9

申请日：2021-07-30

Applicant: 济南浪潮数据技术有限公司

Inventor： 王帅阳 ,  李文鹏 ,  李旭东

IPC: G06F16/172 ,  G06F16/182 ,  G06F3/06 ,  G06F5/06

Abstract: 本发明公开一种分布式文件系统元数据缓存方法、装置、终端及存储介质，设计三级缓存机制，进行挑选缓存，将将要被使用的元数据放置在一、二级缓存队列，使用率低的元数据放置在三级缓存队列，淘汰时从三级缓存队列的缓存时间最久的元数据进行淘汰，从而保留将要被使用的元数据，保证元数据的命中率，减少内存占用，缩短元数据访问IO路径，降低网络通信压力，磁盘访问IO压力，并设置合理的缓存量阈值，在内存可控的基础上有效实现元数据缓存性能的最优化。

公开(公告)号：CN113672584A

公开(公告)日：2021-11-19

申请号：CN202111006690.8

申请日：2021-08-30

Applicant: 济南浪潮数据技术有限公司

Inventor： 王帅阳 ,  李文鹏 ,  李旭东

IPC: G06F16/182 ,  G06F3/06

Abstract: 本发明公开了一种分布式文件系统的HDFS协议数据映射传输方法，包括：预先根据块大小确定出与块大小一致的obj大小，建立块与obj的映射关系；接收HDFS客户端发送的读写请求，并根据当前块及块与obj的映射关系，确定出当前obj；根据当前obj的信息计算出与当前obj对应的主磁盘所在的目标节点ip；将目标节点ip返回至HDFS客户端，以便HDFS客户端将对应的数据发送至与目标节点ip对应的HDFS文件服务器，并通过HDFS文件服务器将数据存储至主磁盘上；本发明在使用过程中无需分布式存储客户端对数据进行转发，提高了数据读写效率，减少了网络带宽的消耗，有利于提升系统性能。