公开(公告)号：CN111782623A

公开(公告)日：2020-10-16

申请号：CN202010435912.7

申请日：2020-05-21

Applicant: 北京交通大学

Inventor： 李坚 ,  张振江 ,  刘云 ,  吴靖钦 ,  李佳欣 ,  魏丽君

IPC: G06F16/182 ,  G06F16/13 ,  G06F11/14

Abstract: 本发明提供了一种HDFS存储平台中的文件校验修复方法。包括：客户终端对文件数据进行分块处理后，生成并存储每个文件块的校验值，将各个文件块上传给HDFS存储平台，HDFS存储平台将一个文件块在多个数据节点上备份存储；客户终端向存储某个文件块的各个数据节点发送文件块校验请求，各个数据节点计算出某个文件块的校验值，并返回给客户终端；客户终端将各个数据节点返回的校验值和本地存储的校验值进行比对，根据比对结果确定数据节点上某个文件块的存储状态是否正常，通知存储状态为异常的数据节点对某个文件块进行修复。本发明通过将文件校验信息保存在客户终端本地，客户终端可在本地对HDFS所存文件进行可靠校验，而不需要留存整个文件副本。

公开(公告)号：CN111782623B

公开(公告)日：2024-10-25

申请号：CN202010435912.7

申请日：2020-05-21

Applicant: 北京交通大学 ,  中国信息安全测评中心

Inventor： 李坚 ,  张振江 ,  刘云 ,  吴靖钦 ,  李佳欣 ,  魏丽君

IPC: G06F16/182 ,  G06F16/13 ,  G06F11/14

Abstract: 本发明提供了一种HDFS存储平台中的文件校验修复方法。包括：客户终端对文件数据进行分块处理后，生成并存储每个文件块的校验值，将各个文件块上传给HDFS存储平台，HDFS存储平台将一个文件块在多个数据节点上备份存储；客户终端向存储某个文件块的各个数据节点发送文件块校验请求，各个数据节点计算出某个文件块的校验值，并返回给客户终端；客户终端将各个数据节点返回的校验值和本地存储的校验值进行比对，根据比对结果确定数据节点上某个文件块的存储状态是否正常，通知存储状态为异常的数据节点对某个文件块进行修复。本发明通过将文件校验信息保存在客户终端本地，客户终端可在本地对HDFS所存文件进行可靠校验，而不需要留存整个文件副本。