-
公开(公告)号:CN107656832A
公开(公告)日:2018-02-02
申请号:CN201710841960.4
申请日:2017-09-18
Applicant: 华中科技大学
IPC: G06F11/10
Abstract: 本发明公开了一种低数据重建开销的纠删码方法,包括:数据分块步骤、数据编码步骤、检查数据块状态步骤、根据失效块进行修复划分步骤以及相应的失效修复步骤,本发明结合了网络编码中蝴蝶码优秀修复带宽性质和局部重建的组内重建方法,可减少系统中数据重建时需求的磁盘读取和网络带宽传输。在本发明中,每个组具有两个校验块并利用局部重建码的组内编码来维持组内的最优修复带宽,再以部分校验块编码所有数据块来保证系统可靠性。相比局部重建码,该方法的组内校验具有更高的可靠性,所以需要的全局校验个数较少,故而可以在相等的存储开销下具有更低的修复带宽。
-
公开(公告)号:CN104050057A
公开(公告)日:2014-09-17
申请号:CN201410249865.1
申请日:2014-06-06
Applicant: 华中科技大学
Abstract: 本发明公开了一种应用于数据去重系统中的碎片消除方法,该方法利用历史信息准确地识别碎片,系统内存开销少且恢复吞吐率高。该方法首先对数据流中的文件进行分块、求指纹,查询索引找到重复数据块;然后在上次备份记录的稀疏容器集合中查找重复数据块的容器ID,判断哪些重复数据块属于稀疏容器。对于属于稀疏容器的重复数据块,将其重写到新的容器中。该方法在备份过程中,只需记录下相关容器的利用率,内存开销极小。本发明还提供了相应的历史感知的数据去重碎片消除系统。由于本方法准确地识别了碎片,重写的数据量很少,因此保持了较高的去重率和备份性能,同时显著地提升恢复性能。
-
公开(公告)号:CN104461781B
公开(公告)日:2017-10-31
申请号:CN201410717059.2
申请日:2014-12-01
Applicant: 华中科技大学
IPC: G06F11/14
Abstract: 一种基于纠删码的数据块重建方法,属于计算机存储技术领域,解决现有数据块修复方法需要传输大量数据的问题,以减少重建数据的传输量。本发明包括数据分块步骤、构造生成矩阵G步骤、生成校验块步骤、检查数据块状态步骤、构造修复矩阵步骤和修复数据块步骤。本发明将原始文件分为k个数据块,将每个数据块继续等分为r个数据片;k个数据块编码为m个校验块,每个校验块也包含r个校验片。重建任意一个数据块时,从剩余的每个数据块的r个数据片和校验块的r个校验片中取r/m片(该方法保证r被m整除),从而重建一个数据块只需要总量(m+k‑1)r/m的数据片,相对里德‑所罗门编码重建一个数据块的数据量,有了明显的减少。
-
公开(公告)号:CN103780622B
公开(公告)日:2016-09-28
申请号:CN201410034878.7
申请日:2014-01-24
Applicant: 华中科技大学
Abstract: 一种面向云存储的数据分类加密方法,属于计算机存储安全领域,解决现有数据加密方法不识别数据内容,对所有数据采用单一加密算法,导致存在的计算量大,效率低下的问题。本发明顺序包括:(1)构建安全特征库步骤、(2)数据分类步骤、(3)数据按类加密步骤和(4)数据存储步骤。本发明只对涉及隐私需要高安全保护的那部分数据采用高安全性的加密算法,而对于占大部分的一般数据采用安全性较低、计算复杂度较低的加密算法,在对隐私数据进行高安全性保护的同时,降低了加密的计算量,提高了效率。
-
公开(公告)号:CN103336785A
公开(公告)日:2013-10-02
申请号:CN201310219794.6
申请日:2013-06-04
Applicant: 华中科技大学
IPC: G06F17/30
Abstract: 一种基于网络编码的分布式存储方法及其装置,属于计算机存储技术领域,解决现有基于网络编码的分布式存储方法所存在的存储节点的磁盘IO过大的问题。本发明的分布式存储方法,适用于分布式存储系统,包括数据编码步骤、数据解码步骤和数据修复步骤;本发明的分布式存储装置,包括数据编码模块、数据解码模块和数据修复模块。本发明在数据节点损坏时,从d个数据节点下载不多于原始文件D大小的数据,修复损坏的数据,有效地减小修复带宽;直接从d个数据节点中下载随机选择的γ个编码数据块,数据块在数据节点内没有进行线性运算,在保证数据高可用性的前提下能够减小存储节点的磁盘IO,有效地提高数据节点的磁盘IO效率。
-
公开(公告)号:CN107656832B
公开(公告)日:2019-10-25
申请号:CN201710841960.4
申请日:2017-09-18
Applicant: 华中科技大学
IPC: G06F11/10
Abstract: 本发明公开了一种低数据重建开销的纠删码方法,包括:数据分块步骤、数据编码步骤、检查数据块状态步骤、根据失效块进行修复划分步骤以及相应的失效修复步骤,本发明结合了网络编码中蝴蝶码优秀修复带宽性质和局部重建的组内重建方法,可减少系统中数据重建时需求的磁盘读取和网络带宽传输。在本发明中,每个组具有两个校验块并利用局部重建码的组内编码来维持组内的最优修复带宽,再以部分校验块编码所有数据块来保证系统可靠性。相比局部重建码,该方法的组内校验具有更高的可靠性,所以需要的全局校验个数较少,故而可以在相等的存储开销下具有更低的修复带宽。
-
公开(公告)号:CN104050103A
公开(公告)日:2014-09-17
申请号:CN201410249181.1
申请日:2014-06-06
Applicant: 华中科技大学
Abstract: 本发明公开了一种用于数据恢复的缓存替换方法,包括:数据备份步骤:在数据备份过程中,按照数据块的备份顺序记录各数据块所属容器的ID,得到该数据备份的容器访问顺序;哈希表生成步骤:根据数据备份的容器访问顺序信息,建立哈希表,其中:哈希表使用容器ID作为键,相同容器ID被映射到一起,并按访问时间排序组成队列;数据恢复步骤:在数据块进行恢复时,根据恢复缓存中的容器恢复数据块,所述恢复缓存中存储有根据所述哈希表确定的最近将被访问到的N个容器,所述N为所述恢复缓存中能够存储容器的个数。本发明还提供了相应的缓存替换系统。本发明方法最优缓存替换策略的缓存命中率更高,减少了读取容器的次数,增加了恢复性能。
-
公开(公告)号:CN103780622A
公开(公告)日:2014-05-07
申请号:CN201410034878.7
申请日:2014-01-24
Applicant: 华中科技大学
Abstract: 一种面向云存储的数据分类加密方法,属于计算机存储安全领域,解决现有数据加密方法不识别数据内容,对所有数据采用单一加密算法,导致存在的计算量大,效率低下的问题。本发明顺序包括:(1)构建安全特征库步骤、(2)数据分类步骤、(3)数据按类加密步骤和(4)数据存储步骤。本发明只对涉及隐私需要高安全保护的那部分数据采用高安全性的加密算法,而对于占大部分的一般数据采用安全性较低、计算复杂度较低的加密算法,在对隐私数据进行高安全性保护的同时,降低了加密的计算量,提高了效率。
-
公开(公告)号:CN103294786A
公开(公告)日:2013-09-11
申请号:CN201310184416.9
申请日:2013-05-17
Applicant: 华中科技大学
IPC: G06F17/30
Abstract: 本发明公开了一种分布式文件系统的元数据组织管理方法,包括以下步骤:接收来自客户端的元数据请求消息包,并对该元数据请求消息包内容进行解析,根据解析得到的元数据请求消息包的类别将该元数据请求消息包放入对应的消息队列,从消息队列中提取元数据请求消息包,并对该元数据请求消息包进行解析,以获得该元数据请求消息包的请求类型和请求内容,根据元数据请求消息包获取B+树中存放的元数据信息,并对该元数据信息进行相应的读写操作,将读写操作后的结果放入元数据请求响应消息包中,并返回给客户端。本发明能够克服目前元数据读写高并发操作在MDS上造成的元数据处理性能低下的问题,提高元数据服务器的处理能力。
-
公开(公告)号:CN103118089A
公开(公告)日:2013-05-22
申请号:CN201310025978.9
申请日:2013-01-22
Applicant: 华中科技大学
Abstract: 一种基于多个云存储系统的安全存储方法及其系统,本发明属于计算机存储技术领域,解决现有多个云存储系统中同时保证数据和元数据安全性的问题。本发明的安全存储方法,包括数据写操作步骤和数据读操作步骤,数据写操作步骤包括数据分块、数据加密、冗余编码、数字签名、分享处理及数据存储子步骤;数据读操作步骤包括解密元数据分片文件、数字签名检查、冗余解码及解密密文数据块子步骤。本发明的安全存储系统,包括加解密编码模块、冗余编码模块、秘密分享模块和数字签名模块。本发明保证数据和元数据私密、高可用的同时,用户本身不用保存任何元数据信息用于索引、查询数据。
-
-
-
-
-
-
-
-
-