公开(公告)号：CN105630423B

公开(公告)日：2018-11-27

申请号：CN201511000387.1

申请日：2015-12-25

Applicant: 华中科技大学

Inventor： 黄建忠 ,  曹强 ,  谢长生 ,  黄文胜 ,  王爽

IPC: G06F3/06

Abstract: 本发明公开了一种基于数据缓存的纠删码集群存储扩容方法，包括响应用户读请求、迁移缓存数据分块和更新校验分块的步骤；迁移旧节点缓存中的数据分块，同时利用新节点生成新条带中的校验分块；每个计算校验分块的节点本地磁盘保存一个校验分块，其他的校验分块发送给旧节点替换掉条带中的数据分块，条带中其余数据分块在旧节点的位置保持不变，当一个新条带分块均匀分布在集群各节点后，热数据分块从旧节点迁移到新增节点；缓存数据分块迁移支持热点数据在所有节点上的均匀分布；新增节点利用接收的缓存数据分块生成校验分块，分散计算操作的同时可减少新校验分块的网络传输量。

公开(公告)号：CN105630423A

公开(公告)日：2016-06-01

申请号：CN201511000387.1

申请日：2015-12-25

Applicant: 华中科技大学

Inventor： 黄建忠 ,  曹强 ,  谢长生 ,  黄文胜 ,  王爽

IPC: G06F3/06

Abstract: 本发明公开了一种基于数据缓存的纠删码集群存储扩容方法，包括响应用户读请求、迁移缓存数据分块和更新校验分块的步骤；迁移旧节点缓存中的数据分块，同时利用新节点生成新条带中的校验分块，实现扩容后存储集群中各个节点的负载均衡；每个计算校验分块的节点本地磁盘保存一个校验分块，其他的校验分块发送给旧节点替换掉条带中的数据分块，条带中其余数据分块在旧节点的位置保持不变，当一个新条带分块均匀分布在集群各节点后，热数据分块从旧节点迁移到新增节点，由此最小化条带分块重新分布带来的网络传输流量开销；缓存数据分块迁移支持热点数据在所有节点上的均匀分布，有效提高集群节点的并行访问效率；新增节点利用接收的缓存数据分块生成校验分块，分散计算操作的同时可减少新校验分块的网络传输量；充分利用缓存数据来减少存储扩容时的旧数据分块读取，可及时响应客户端请求，且能提高扩容效率。

公开(公告)号：CN104407807A

公开(公告)日：2015-03-11

申请号：CN201410579759.X

申请日：2014-10-24

Applicant: 华中科技大学

Inventor： 黄建忠 ,  曹强 ,  谢长生 ,  梁先海 ,  黄文胜

IPC: G06F3/06

CPC classification number: G06F3/0629 ,  G06F3/064 ,  G06F3/0647

Abstract: 本发明公开了一种针对RS码存储集群的高效存储扩容方法，涉及数据重新分布和校验更新两个过程。具体包括：增加Δk个数据节点，并按照转置式数据布局重新分布旧数据，其中原始数据分块只在旧数据节点和新数据节点之间迁移，新数据分块直接填充到迁移后所空出区域；完成数据重新分布时，需要进行相应校验分块的更新操作。上述数据重新分布支持多次扩容并保持数据分布的均匀性。由于数据重新分布采用转置式数据布局，校验分块更新时，旧数据节点可直接计算校验差异分块ΔP，校验节点利用此校验差异分块ΔP完成校验分块的更新，从而减少校验更新开销。本发明中存储扩容方法不仅能提高存储效率，而且能完成高效扩容。

公开(公告)号：CN104407807B

公开(公告)日：2017-06-27

申请号：CN201410579759.X

申请日：2014-10-24

Applicant: 华中科技大学

Inventor： 黄建忠 ,  曹强 ,  谢长生 ,  梁先海 ,  黄文胜

IPC: G06F3/06

Abstract: 本发明公开了一种针对RS码存储集群的高效存储扩容方法，涉及数据重新分布和校验更新两个过程。具体包括：增加Δk个数据节点，并按照转置式数据布局重新分布旧数据，其中原始数据分块只在旧数据节点和新数据节点之间迁移，新数据分块直接填充到迁移后所空出区域；完成数据重新分布时，需要进行相应校验分块的更新操作。上述数据重新分布支持多次扩容并保持数据分布的均匀性。由于数据重新分布采用转置式数据布局，校验分块更新时，旧数据节点可直接计算校验差异分块ΔP，校验节点利用此校验差异分块ΔP完成校验分块的更新，从而减少校验更新开销。本发明中存储扩容方法不仅能提高存储效率，而且能完成高效扩容。