高效容多错的快速恢复编码方法及其验证矩阵生成方法

    公开(公告)号:CN103809919A

    公开(公告)日:2014-05-21

    申请号:CN201310689402.2

    申请日:2013-12-16

    Abstract: 本发明公开了一种高效容多错的快速恢复编码及其验证矩阵生成方法,该编码是基于XOR运算的一种编码。且该编码是以编码单元为单位的编码。在一个编码单元中存在多个条带集,每个条带集之间存在着一定的联系。在该种编码中一个编码单元的前面Rp行存放着校验码,后面的Rp行存放着数据,Rp行中的数据通过一个或几个条带集中的一些数据块进行异或得到。同时还提供了一种验证该编码的容错能力的方法,用一个变换矩阵来表示从原始的数据块生成全部数据的过程,然后把变换矩阵中与失效块有关的行去掉得到一个降级的转换矩阵,通过验证该降级的变换矩阵的秩可以得出该编码的容错度。本发明能够解决现有技术中存在的容错能力低、降级读与重构的性能差的技术问题。

    垂直RAID-6编码中单盘重构的方法

    公开(公告)号:CN102419697B

    公开(公告)日:2013-12-18

    申请号:CN201110340618.9

    申请日:2011-11-02

    Abstract: 本发明公开了一种垂直RAID-6编码中单盘重构的方法,包括步骤:确定磁盘阵列中失效磁盘的磁盘号i和总磁盘数,并设置k=0,S0=i,用第i个磁盘的校验块所在校验链中除校验块之外的所有数据块进行异或运算,以恢复校验块,第i个磁盘中的第k个数据块用(xik,yik)表示,第i个磁盘中的校验块用i表示,设置k=k+1,j=0,判断(S0+xik)除以(总磁盘数-1)的余数是否不为0,若(S0+xik)除以(总磁盘数-1)的余数不为0,则设置j=j+1,判断j除以(总磁盘数-1)的余数是否与k除以(总磁盘数-1)的余数相同,若j除以(总磁盘数-1)的余数与k除以(总磁盘数-1)的余数相同,则设置Sk=xik。本发明的方法能够平衡各磁盘I/O负载,提高重构速度,并大大提高单盘重构的性能。

    一种双盘容错磁盘阵列中单盘重构的方法

    公开(公告)号:CN102103533A

    公开(公告)日:2011-06-22

    申请号:CN201110045773.8

    申请日:2011-02-25

    Abstract: 本发明提供了一种双盘容错磁盘阵列中单盘重构的方法,该方法首先选取第一个失效元素所在的任意一条校验链,利用该校验链重构第一个失效元素;之后再选取下一个失效元素所在的一条校验链,且该校验链与所有已用于重构失效元素的校验链具有最多交点,利用该校验链重构失效元素,如此反复,直至重构出所有失效元素。在传统的单盘重构过程中,所有失效的元素都使用同一类型校验链来重构,几乎所有未失效的元素都要被读取。本发明所述的方法通过使用不同类型的校验链来重构,通过重复利用相同的元素于不同校验链来重构,使得很多未失效的元素不必被读取,大大减少了磁盘I/O量,提高了数据恢复速度,提供了更好的系统性能。

    一种分散式存储系统中防御女巫攻击的方法和系统

    公开(公告)号:CN114827176A

    公开(公告)日:2022-07-29

    申请号:CN202210368059.0

    申请日:2022-04-08

    Abstract: 本发明公开了一种分散式存储系统中防御女巫攻击的方法和系统,属于信息安全领域。包括:在冗余数据永久存储之前使用专用的数据编码方案将其编码成数据块;使用专用的作业调度方案将I/O密集型作业与挑战同时调度执行;女巫攻击者在其未存储的数据受到挑战时会遭受读取整个数据块的惩罚,并且与I/O密集型作业争用有限的存储带宽;在这种竞争下女巫攻击者的作业利润显著降低,最终因作业收入损失高于攻击获利而放弃攻击。如此,本发明创新地从经济学与博弈论的角度出发,通过专用数据编码以及作业调度方案构造女巫攻击者的攻击成本,促使攻击者放弃攻击行为,进而提高低可信、去中心化分散式存储系统的安全性。

    一种分布式系统中支持私有标签的数据冗余方法及系统

    公开(公告)号:CN110908835B

    公开(公告)日:2022-07-12

    申请号:CN201911094965.0

    申请日:2019-11-11

    Abstract: 本发明公开了一种分布式系统中支持私有标签的数据冗余方法及系统,属于计算机存储领域,包括:将原始数据等分为n个数据块,并利用预设的冗余策略编码得到k个冗余数据块;由数据所有者利用其私钥对每个编码数据块生成对应的私有标签,共得到n+k个标签块,利用冗余策略对n+k个标签块编码得到p个冗余标签块;编码数据块为数据块或冗余数据块;由一个编码数据块及其标签块,以及m个冗余标签块构成一个组合数据块,由所有的n+k个组合数据块构成一个冗余组,并将冗余组中的n+k个组合数据块分别存储到分布式系统中不同的n+k个节点上。本发明通过对私有标签进行冗余,使得数据丢失并修复后,仍然能够继续验证该数据是否被篡改。

    一种SCM的数据编码方法及数据存储方法

    公开(公告)号:CN109189694A

    公开(公告)日:2019-01-11

    申请号:CN201810850054.5

    申请日:2018-07-28

    Abstract: 本发明公开了一种SCM的数据编码方法及数据存储方法。编码方法利用m个存储单元构成的存储单元组存储n个比特,并保证用于存储n个比特的2n个m-单元能量组合中,任意一个m-单元能量组合平均对存储单元组中每个存储单元造成的磨损值不超过磨损值阈值;数据存储方法包括:将SCM中的用户数据区与从OOB区划分出的元数据区划分为多个区间,并将每个区间划分为分片,每个区间中的存储单元组都采用本发明所提供的数据编码方法;并通过计算确定每个区间包含的分片数,使得用户数据区和元数据区中单次擦写平均对每个存储单元造成的磨损值都最低。本发明使用对存储单元磨损最低的能量组合表示数据比特,降低对SCM的磨损,从而延长SCM的寿命。

    一种加速基于XOR的RAID-6编解码过程的方程并行计算方法

    公开(公告)号:CN104850504B

    公开(公告)日:2017-12-22

    申请号:CN201510273730.3

    申请日:2015-05-26

    Abstract: 本发明公开了一种加速基于XOR的RAID‑6编解码过程的方程并行计算方法:将基于XOR的RAID‑6编码的校验规则用校验方程组表示,把每个校验方程在编解码过程中的求解分解为两个阶段——“预计算阶段”以及“递归求解阶段”;每个校验方程由一个独立的线程实施求解,多个校验方程的预计算阶段被并行执行;使用一个全局共享的数据块状态表记录数据块的状态以协调所有线程的执行。本发明方法利用编码的潜在并行能力,使得大部分计算可以同时使用多个线程处理,充分发挥并行处理能力,缩短计算所花费的时间,提高编解码的性能。

    一种并行重复数据删除方法和系统

    公开(公告)号:CN103970875B

    公开(公告)日:2017-02-15

    申请号:CN201410204599.0

    申请日:2014-05-15

    Abstract: 本发明公开了一种并行重复数据删除方法,包括以下步骤:客户端先对要重删的数据进行分块,然后通过哈希函数计算出每个分块的哈希指纹,然后把哈希指纹发送到不同的重删服务器节点上进行指纹的查重工作。如果某个指纹经过对比,确认是重复的指纹,则只用更新查询服务器上元数据和重删服务器节点上的指纹计数器。如果某个指纹经过对比,确认是一个新的数据块,则传输该数据块到重删服务器并且更新指纹库和查询服务器上的元数据。本发明具重删节点可扩展性,可根据不同的需求扩展不同的节点来满足性能的需求,而且利用了多节点之间的并行性,有效的提升了重删系统的性能,提供高效可靠的服务。

    一种分布式存储下基于冗余机制的数据恢复方法

    公开(公告)号:CN104935481A

    公开(公告)日:2015-09-23

    申请号:CN201510351033.5

    申请日:2015-06-24

    Inventor: 万胜刚 方俊涛

    Abstract: 本发明公开了一种分布式存储下基于冗余机制的数据恢复方法,属于分布式存储技术领域。本发明预先额外设置一个阈值(t2),其值小于系统已有的用于判断永久性故障的阈值(t1);系统周期性计算当前时间与节点最近活跃时间的差值,若差值大于等于t1,则认为其为永久性故障节点;否则若差值大于等于t2且小于t1,则认为其为暂时性故障节点;否则若差值小于t2,则认为其为非故障节点;若同一冗余组内存在两个或两个以上的位于永久性故障或暂时性故障节点上的数据块或校验块,则以高优先级开始此类数据块或校验块的重建;否则,以普通优先级开始重建永久性故障节点上的数据块与校验块。

    一种提高基于纠删码的存储集群恢复性能的方法

    公开(公告)号:CN103209210B

    公开(公告)日:2015-07-22

    申请号:CN201310067744.0

    申请日:2013-03-04

    Abstract: 本发明公开了一种提高基于纠删码的存储集群恢复性能的方法,包括:重构控制节点向重构源节点发送重构读请求,同时向重构目的节点发送重构写请求,所有的重构源节点根据重构读请求执行重构读优化,同时所有的重构目的节点根据重构写请求执行重构写优化,每个重构源节点分别从磁盘读取参与此次重构的数据,并分别将数据分成多个数据块,所有的重构源节点分别将多个数据块通过网络同时传输到对应的重构目的节点上,每个重构目的节点分别采用重构算法将接收到的来自所有重构源节点的数据块进行重构,每一个重构目的节点分别将重构得到的数据块返回客户端。本发明能够解决现有集中式解码方法中存在的会导致大量额外的数据传输的问题。

Patent Agency Ranking