公开(公告)号：CN113626403A

公开(公告)日：2021-11-09

申请号：CN202110745159.6

申请日：2021-06-30

Applicant: 济南浪潮数据技术有限公司

Inventor： 李朝阳 ,  王帅阳 ,  贾涛

IPC: G06F16/182 ,  G06F16/17

Abstract: 本申请公开了一种分布式文件系统的处理方法、装置及介质，方法包括：将分布式文件系统的集群中各个节点的网卡信息配置到HDFS的配置文件中，每个所述节点对应一个配置文件；将所述各个节点的IP信息均设置到HDFS的节点列表；获取所述集群的ID，利用所述ID格式化HDFS的存储空间；根据所述配置文件和所述节点列表启动HDFS服务。本申请实施例提供的方案通过以上自动化部署之后，可以利用配置文件和节点列表一键式实现HDFS服务的启动，实现分布式文件系统HDFS服务的交互，不必逐一节点分别进行设置，该方法简单快捷。

公开(公告)号：CN113609092A

公开(公告)日：2021-11-05

申请号：CN202110743141.2

申请日：2021-06-30

Applicant: 济南浪潮数据技术有限公司

Inventor： 李朝阳 ,  王帅阳 ,  贾涛

IPC: G06F16/182 ,  G06F16/17

Abstract: 本发明提供一种分布式存储对接HDFS客户端的方法、系统、终端及存储介质，包括：设置HDFS服务端的getFi l e Info接口对接分布式存储的文件元数据获取函数；设置HDFS服务端的getL i s t i ng接口对接分布式存储的目录读取函数；设置HDFS客户端对接getFi l eInfo接口和getL i s t ing接口，HDFS客户端通过getFi l eInfo接口和getLi st ing接口获取分布式存储的文件元数据和目录信息。本发明实现了在hdfs中客户端使用l s接口时，显示分布式文件存储系统中的文件信息和目录信息的功能，实现了两种文件系统的对接，提高了文件系统之间数据交互速率。

公开(公告)号：CN113626405A

公开(公告)日：2021-11-09

申请号：CN202110779799.9

申请日：2021-07-09

Applicant: 济南浪潮数据技术有限公司

Inventor： 贾涛 ,  王帅阳 ,  李文鹏 ,  李朝阳

IPC: G06F16/182 ,  H04L1/00

Abstract: 本发明提供一种HDFS网络数据传输优化方法、系统、终端及存储介质，包括：发送端读取待发送数据并计算待发送数据的校验和；将待发送数据和校验和封装至文件，并将待发送数据和校验和的位置信息记录至文件标头；将所述文件发送至接收端，所述文件由接收端解析出所述待发送数据后，待发送数据经校验落盘存储。本发明通过在传输过程中不再对校验和进行落盘而是动态生成数据校验和，不仅节省了大量的存储资源，而且在内存计算checksum相较于从磁盘直接读取checksum文件效率更高；checksum不落盘可以简化接收端在接收数据时的处理逻辑，提升接收处理数据的效率。

公开(公告)号：CN113609092B

公开(公告)日：2024-02-27

申请号：CN202110743141.2

申请日：2021-06-30

Applicant: 济南浪潮数据技术有限公司

Inventor： 李朝阳 ,  王帅阳 ,  贾涛

IPC: G06F16/182 ,  G06F16/17

Abstract: 本发明提供一种分布式存储对接HDFS客户端的方法、系统、终端及存储介质，包括：设置HDFS服务端的getFi l e Info接口对接分布式存储的文件元数据获取函数；设置HDFS服务端的getL i s t i ng接口对接分布式存储的目录读取函数；设置HDFS客户端对接getFi l eInfo接口和getL i s t ing接口，HDFS客户端通过getFi l eInfo接口和getLi st ing接口获取分布式存储的文件元数据和目录信息。本发明实现了在hdfs中客户端使用l s接口时，显示分布式文件存储系统中的文件信息和目录信息的功能，实现了两种文件系统的对接，提高了文件系统之间数据交互速率。