公开(公告)号：CN110032338B

公开(公告)日：2020-05-19

申请号：CN201910214010.8

申请日：2019-03-20

Applicant: 华中科技大学

Inventor： 黄建忠 ,  曹强 ,  谢长生 ,  徐滨 ,  廖宝忠

IPC: G06F3/06

Abstract: 本发明公开了一种面向纠删码的数据副本放置方法及系统，属于计算机系统结构领域，包括：将所有数据分块的主副本和从副本均载入内存，使得存储主副本的节点均位于主机架内，且存储从副本的节点位于k个副机架内；识别出主机架内主副本中的温数据块；利用所识别出的温数据块构造条带，并确定用于对每一个条带进行纠删码编码的编码节点；分别对每一个条带进行纠删码编码，并在编码完成后移动编码产生的校验分块，使得同一条带所对应的校验分块和从副本满足扁平化分块布局，从而实现异构集群内的纠删码归档。本发明能够减少异构集群下纠删码归档时的跨机架数据传输，从而缩短归档时长，并保证归档后的最大机架间容错度。

公开(公告)号：CN110032338A

公开(公告)日：2019-07-19

申请号：CN201910214010.8

申请日：2019-03-20

Applicant: 华中科技大学

Inventor： 黄建忠 ,  曹强 ,  谢长生 ,  徐滨 ,  廖宝忠

IPC: G06F3/06

Abstract: 本发明公开了一种面向纠删码的数据副本放置方法及系统，属于计算机系统结构领域，包括：将所有数据分块的主副本和从副本均载入内存，使得存储主副本的节点均位于主机架内，且存储从副本的节点位于k个副机架内；识别出主机架内主副本中的温数据块；利用所识别出的温数据块构造条带，并确定用于对每一个条带进行纠删码编码的编码节点；分别对每一个条带进行纠删码编码，并在编码完成后移动编码产生的校验分块，使得同一条带所对应的校验分块和从副本满足扁平化分块布局，从而实现异构集群内的纠删码归档。本发明能够减少异构集群下纠删码归档时的跨机架数据传输，从而缩短归档时长，并保证归档后的最大机架间容错度。

公开(公告)号：CN104850504B

公开(公告)日：2017-12-22

申请号：CN201510273730.3

申请日：2015-05-26

Applicant: 华中科技大学

Inventor： 曹强 ,  张文辉 ,  李诗逸 ,  万胜刚 ,  黄建忠 ,  谢长生

IPC: G06F12/02

Abstract: 本发明公开了一种加速基于XOR的RAID‑6编解码过程的方程并行计算方法：将基于XOR的RAID‑6编码的校验规则用校验方程组表示，把每个校验方程在编解码过程中的求解分解为两个阶段——“预计算阶段”以及“递归求解阶段”；每个校验方程由一个独立的线程实施求解，多个校验方程的预计算阶段被并行执行；使用一个全局共享的数据块状态表记录数据块的状态以协调所有线程的执行。本发明方法利用编码的潜在并行能力，使得大部分计算可以同时使用多个线程处理，充分发挥并行处理能力，缩短计算所花费的时间，提高编解码的性能。

公开(公告)号：CN105630423A

公开(公告)日：2016-06-01

申请号：CN201511000387.1

申请日：2015-12-25

Applicant: 华中科技大学

Inventor： 黄建忠 ,  曹强 ,  谢长生 ,  黄文胜 ,  王爽

IPC: G06F3/06

Abstract: 本发明公开了一种基于数据缓存的纠删码集群存储扩容方法，包括响应用户读请求、迁移缓存数据分块和更新校验分块的步骤；迁移旧节点缓存中的数据分块，同时利用新节点生成新条带中的校验分块，实现扩容后存储集群中各个节点的负载均衡；每个计算校验分块的节点本地磁盘保存一个校验分块，其他的校验分块发送给旧节点替换掉条带中的数据分块，条带中其余数据分块在旧节点的位置保持不变，当一个新条带分块均匀分布在集群各节点后，热数据分块从旧节点迁移到新增节点，由此最小化条带分块重新分布带来的网络传输流量开销；缓存数据分块迁移支持热点数据在所有节点上的均匀分布，有效提高集群节点的并行访问效率；新增节点利用接收的缓存数据分块生成校验分块，分散计算操作的同时可减少新校验分块的网络传输量；充分利用缓存数据来减少存储扩容时的旧数据分块读取，可及时响应客户端请求，且能提高扩容效率。

公开(公告)号：CN104407807A

公开(公告)日：2015-03-11

申请号：CN201410579759.X

申请日：2014-10-24

Applicant: 华中科技大学

Inventor： 黄建忠 ,  曹强 ,  谢长生 ,  梁先海 ,  黄文胜

IPC: G06F3/06

CPC classification number: G06F3/0629 ,  G06F3/064 ,  G06F3/0647

Abstract: 本发明公开了一种针对RS码存储集群的高效存储扩容方法，涉及数据重新分布和校验更新两个过程。具体包括：增加Δk个数据节点，并按照转置式数据布局重新分布旧数据，其中原始数据分块只在旧数据节点和新数据节点之间迁移，新数据分块直接填充到迁移后所空出区域；完成数据重新分布时，需要进行相应校验分块的更新操作。上述数据重新分布支持多次扩容并保持数据分布的均匀性。由于数据重新分布采用转置式数据布局，校验分块更新时，旧数据节点可直接计算校验差异分块ΔP，校验节点利用此校验差异分块ΔP完成校验分块的更新，从而减少校验更新开销。本发明中存储扩容方法不仅能提高存储效率，而且能完成高效扩容。

公开(公告)号：CN104391759A

公开(公告)日：2015-03-04

申请号：CN201410631962.7

申请日：2014-11-11

Applicant: 华中科技大学

Inventor： 黄建忠 ,  曹强 ,  谢长生 ,  代尔卫 ,  罗海兵

IPC: G06F11/14

Abstract: 本发明公开了一种纠删码存储中负载感知的数据归档方法，包括步骤：获取纠删码存储集群中生产集群的每个节点的负载权重值，并将负载权重值存储在数组中，并根据节点负载权重值来确定不同条带在生产集群中的归档节点集合。对第i个条带，初始化其归档节点集合为空，从第i个条带的数据分布集合中选择负载权重值最高的节点，并判断该节点的负载权重值是否大于该节点的数据块个数，如果为是，则将该节点对应的数据块填充在该条带的归档节点集合中，并更新所涉及节点的负载权重值；如果为否，则选择该条带数据分布集合中负载权值第二高的节点。本发明解决了现有方法中编码节点不考虑节点权值，仅从固定节点获取条带上所有数据块而导致的性能瓶颈问题。

公开(公告)号：CN103955343A

公开(公告)日：2014-07-30

申请号：CN201410154239.4

申请日：2014-04-16

Applicant: 华中科技大学

Inventor： 黄建忠 ,  曹强 ,  谢长生 ,  梁先海

IPC: G06F3/06

Abstract: 本发明公开了一种基于I/O流水线的失效节点数据重构优化方法，包括：从纠删码存储集群中的存活节点中任选k个节点N1,N2,…,Nk，并初始化计数器i＝0，j＝1，节点Nj读取其自身的分块Blocki,j，并将其发送到Nj+1，并设置j＝j+1，节点Nj读取其自身的分块Blocki,j，并与接收自节点Nj-1的分块Blocki,j-1进行线性组合计算，以得到结果分块Blocki,j’，并将结果分块Blocki,j’发送到节点Nj+1，设置j＝j+1，并判断j是否等于k，如果等于则Nj读取分块Blocki,j与接收自Nj-1的分块Blocki,j-1’进行线性组合计算。本发明能显著地加快失效节点数据重构过程的速度。

公开(公告)号：CN103593253A

公开(公告)日：2014-02-19

申请号：CN201310595326.9

申请日：2013-11-22

Applicant: 华中科技大学

Inventor： 黄建忠 ,  曹强 ,  谢长生 ,  谢平

IPC: G06F11/10 ,  G06F3/06

Abstract: 本发明公开了一种基于异或的垂直RAID-6编码方法，包括以下步骤：从API接口获取请求队列信息，判断该请求队列信息是否是构建请求，如果是构建请求，则根据该构建请求获取RAID-6系统中的一个未构建条带，以获取该未构建条带的条带信息，根据所获取的条带信息对该未构建条带中所有块进行编号，以得到所有块的标识，根据块标识，选择一个未构建的校验块Cm-1,j，以获取该校验块Cm-1,j标识，其中m表示RAID-6系统中一个条带的总行数，根据获取的校验块Cm-1,j标识，得到该校验块Cm-1,j的值。本发明在磁盘失效的情况下保障了失效磁盘的快速重构，同时具有构建灵活的RAID阵列大小，具有均匀负载的特性。

公开(公告)号：CN102385554B

公开(公告)日：2014-01-15

申请号：CN201110335112.9

申请日：2011-10-28

Applicant: 华中科技大学

Inventor： 黄建忠 ,  曹强 ,  万胜刚 ,  谢平 ,  韩帅军 ,  谢长生

IPC: G06F12/06

CPC classification number: Y02D10/13

Abstract: 一种重复数据删除系统的优化方法，包括步骤：获取当前数据的分块，对分块进行哈希计算，以得到分块的哈希指纹，判断分块的哈希指纹是否存在于哈希指纹库中，若分块的哈希指纹存在于哈希指纹库中，则判断哈希指纹库中分块的引用数大于阈值并且副本数是否小于阈值，若哈希指纹库中分块的引用数大于阈值并且副本数小于阈值，则判断分块的信息是否存在于索引表中，若分块的信息存在于索引表中，则调用节点分配过程，以选择轻负载节点，将分块存储于轻负载节点中，更新索引表中分块的信息，将哈希指纹库中分块的引用数加1。本方法能够根据重复数据删除系统当前各存储节点的负载和能耗状态动态分配存储空间，平衡各存储节点的工作负载，提高系统性能。

公开(公告)号：CN102521067B

公开(公告)日：2013-07-24

申请号：CN201110392542.4

申请日：2011-12-01

Applicant: 华中科技大学

Inventor： 曹强 ,  黄建忠 ,  吴晨涛 ,  万胜刚 ,  徐琼瑶 ,  谢长生

IPC: G06F11/10

Abstract: 本发明公开了一种新的RAID-6编码及其重构方法，它可以容忍双盘失效，且满足RAID-6特性。该编码是一种具有最优条带写性能的MDSRAID-6型编码。磁盘的读写性能是纠删码设计者最关心的问题，但现有的RAID-6编码中，无论是水平RAID-6编码还是垂直RAID-6编码都有一个缺陷，就是他们的部分条带写性能不佳。而本发明所设计的编码方式有着很好的读写性能，尤其是使部分条带写性能得到很大的改善，并且其重构过程也比较简单。相对目前其它一些主流的RAID-6型编码，该编码有着很大的优势。本发明具有高可靠性、高扩展性、低I/O复杂度，对损失数据也能高效恢复，这些优势使它有着实用性和推广潜力。