-
公开(公告)号：CN106844060B
公开(公告)日：2020-01-03
申请号：CN201710141230.3
申请日：2017-03-10
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于任务负载感知的纠删码归档方法及系统，属于计算机存储技术领域。本发明方法首先获取纠删码集群中归档条带的每个节点任务数和每个节点上含有的当前归档条带数据分块个数；之后选取任务数最小且含有当前归档条带数据分块较多的一个存储节点作为编码节点，并更新编码节点的任务数；然后根据任务数最小原则和供给节点选取规则，依次选取所有数据分块的供给节点，并且更新其任务数；最后编码节点通过供给节点提供的数据分块进行编码计算，生成校验分块，完成归档任务。本发明还实现了一种基于任务负载感知的纠删码归档系统。本发明解决了现有归档方法中将大量归档任务集中分配到某个数据节点而导致的归档任务不均衡问题。
-
公开(公告)号：CN108304264A
公开(公告)日：2018-07-20
申请号：CN201810058018.5
申请日：2018-01-22
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于SPARK流式计算的纠删码归档方法，属于计算机储存领域。本发明从集群的节点中选取要归档的数据分块在SPARK框架下组建多个RDD，以RDD为基本单元进行纠删码归档，RDD中数据分块所在节点承担各自纠删码中间校验分块的计算任务，并采用流水线形式，从首节点开始向后置节点下发中间校验分块，利用后置节点的中间校验分块和计算能力更新下发的中间校验分块，直到尾节点利用下发的中间校验分块生成最终校验分块，并发送给集群的校验节点。本发明方法在SPARK大数据处理框架下采用Map/Reduce模型进行纠删码归档，归档过程采用流水线方式实现，将编码计算过程分散到多个节点完成，极大提高归档性能。
-
公开(公告)号：CN108073472A
公开(公告)日：2018-05-25
申请号：CN201711318689.2
申请日：2017-12-12
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于热度感知的内存纠删码分布方法，属于计算机存储技术领域。本发明方法根据数据分块访问频次的变化，定期执行下述步骤，首先对内存中的数据分块进行热度等级的划分，访问频次越高的数据分块热度等级越高；其次，对热度等级由低变高的数据分块进行副本备份，提高访问的并行性；之后，针对热度等级由高变低的数据分块进行副本删除或者替换，节约内存空间，提高利用率。本发明方法利用访问频度感知策略，动态调整内存数据分块，对低访问频度数据采用纠删码存储方案，对高访问频度数据采用副本方案，兼顾系统的内存利用率和访问并发性，优化系统的负载均衡。
-
公开(公告)号：CN104991740B
公开(公告)日：2018-05-22
申请号：CN201510354925.0
申请日：2015-06-24
Applicant: 华中科技大学
Abstract: 本发明公开了一种加速纠删码编解码过程的通用矩阵优化方法，包括：在编解码时，通过把校验矩阵分解为多个相互独立的子矩阵和一个剩余的子矩阵，使得编解码的计算能够被部分并行执行，除此以外，还通过调整矩阵运算的顺序，降低了在编解码过程中涉及数据块运算的次数，从而降低了计算的时间花销。本发明方法提升纠删码编解码过程的性能，尤其是在多核处理器上运行时的性能。使用本发明实现的编解码过程可以利用编码的潜在并行能力，充分发挥多核处理器的并行处理能力，缩短计算过程所花费的时间。
-
公开(公告)号：CN106547487A
公开(公告)日：2017-03-29
申请号：CN201610921920.6
申请日：2016-10-21
Applicant: 华中科技大学
IPC: G06F3/06
CPC classification number: G06F3/0616 , G06F3/0638 , G06F3/0679
Abstract: 本发明公开了一种提高闪存可靠性的数据塑型方法，通过提高数据中“1”的比例，达到延长闪存使用寿命以及降低数据丢失率的效果；当拟存储数据中比特“0”的数量大于比特“1”的数量时，把数据整体翻转，否则维持原数据不变；使用一个标识数据记录数据是否被翻转，这个标记位与数据一起存储；对于较长的数据，则把数据划分为多个子段，逐段进行统计、比较和翻转的处理，每个子段都使用一个标记位独自记录是否翻转；由此提高拟存储数据中比特“1”的比例；采用本发明提供的数据塑性方法向闪存芯片存储数据时，可延迟闪存芯片的使用寿命，并且降低已存储数据发生数据丢失的概率，提高闪存可靠性。
-
Patent Agency Ranking
公开(公告)号：CN103955343B
公开(公告)日：2016-08-24
申请号：CN201410154239.4
申请日：2014-04-16
Applicant: 华中科技大学
IPC: G06F3/06
Abstract: 本发明公开了一种基于I/O流水线的失效节点数据重构优化方法，包括：从纠删码存储集群中的存活节点中任选k个节点N1,N2,…,Nk，并初始化计数器i＝0，j＝1，节点Nj读取其自身的分块Blocki,j，并将其发送到Nj+1，并设置j＝j+1，节点Nj读取其自身的分块Blocki,j，并与接收自节点Nj?1的分块Blocki,j?1进行线性组合计算，以得到结果分块Blocki,j’，并将结果分块Blocki,j’发送到节点Nj+1，设置j＝j+1，并判断j是否等于k，如果等于则Nj读取分块Blocki,j与接收自Nj?1的分块Blocki,j?1’进行线性组合计算。本发明能显著地加快失效节点数据重构过程的速度。
-
公开(公告)号：CN103809919B
公开(公告)日：2016-06-22
申请号：CN201310689402.2
申请日：2013-12-16
Applicant: 华中科技大学
Abstract: 本发明公开了一种高效容多错的快速恢复编码及其验证矩阵生成方法，该编码是基于XOR运算的一种编码。且该编码是以编码单元为单位的编码。在一个编码单元中存在多个条带集，每个条带集之间存在着一定的联系。在该种编码中一个编码单元的前面Rp行存放着校验码，后面的Rp行存放着数据，Rp行中的数据通过一个或几个条带集中的一些数据块进行异或得到。同时还提供了一种验证该编码的容错能力的方法，用一个变换矩阵来表示从原始的数据块生成全部数据的过程，然后把变换矩阵中与失效块有关的行去掉得到一个降级的转换矩阵，通过验证该降级的变换矩阵的秩可以得出该编码的容错度。本发明能够解决现有技术中存在的容错能力低、降级读与重构的性能差的技术问题。
-
公开(公告)号：CN103106124B
公开(公告)日：2015-06-17
申请号：CN201210591296.X
申请日：2012-12-29
Applicant: 华中科技大学
Abstract: 本发明公开了一种基于纠删码集群存储系统的交叉重构方法，包括：第i个替换节点RNi将自身条带号的基准值rowstep初始化为0，替换节点RNi向集群中任意k个存活节点发出请求，获取这k个存活节点的第rowstep+i个条块，分别记为B1，…，Bk，替换节点RNi使用条块B1，…，Bk计算出属于集群的第rowstep+i个条带的f个失效块，分别记为RBrowstep+i,1，…，RBrowstep+i,f，替换节点RNi将失效块RBrowstep+i,i写入本地磁盘，成为本地的第rowstep+i个条块。本发明能够降低网络带宽开销和加快重构速度。
-
-
-
-
-
-
-
-
Search Results
95
records
(took 0.033 seconds)
