-
公开(公告)号:CN109947587B
公开(公告)日:2022-09-27
申请号:CN201910125393.1
申请日:2019-02-20
Applicant: 长安大学
Abstract: 本发明属于计算机领域,具体涉及非均匀故障保护的分组修复码构造方法及故障修复方法。分组修复码构造方法考虑到实际分布式存储系统中存在不同热度的文件,利用分组思想将整个条带分成长度依次递增的多个数据分组并在组内生成多个组编码块,并通过分组规模的选取为不同热度文件提供不同等级保护,进一步降低多故障节点的磁盘读取开销。该方法所存目标节点故障概率表征数据块故障概率并排序,为高故障概率数据节点提供更高等级保护。多节点故障修复方法在多节点故障修复时,选择先数据分组内修复后全局修复的整体修复原则,尽可能地降低了多节点修复时的磁盘读取开销。
-
公开(公告)号:CN110532125A
公开(公告)日:2019-12-03
申请号:CN201910635971.6
申请日:2019-07-15
Applicant: 长安大学
IPC: G06F11/10
Abstract: 本发明公开了一种基于图因子分解的部分重复码构造方法,主要包括以下步骤:步骤1,把n阶完全图G的每个顶点vi(1≤i≤n)当作部分重复码存储的数据块di(1≤i≤n),然后对n阶完全图G进行图因子分解;步骤2,确定构造FR码的重复度ρ,根据可1因子分解还是可2因子分解,分别对选定因子的边或者三角形依次编号,然后把每条边或者三角形当作FR码的每个存储节点;构造的重复度为ρ的FR码中,每个节点存储每条边或者每个三角形相邻顶点上的数据块di(1≤i≤n)。本发明能够在很大范围内选择构造参数和数据块的重复度,并且构造方法具有多样性的特点。
-
公开(公告)号:CN110389848A
公开(公告)日:2019-10-29
申请号:CN201910554540.7
申请日:2019-06-25
Applicant: 长安大学
Abstract: 本发明属于计算机领域,涉及一种基于分块构造的部分重复码的构造方法。本方法主要是通过对原文件的数据块进行MDS编码生成编码块,构造下三角矩阵,对编码块做分块和复制处理,在单节点故障的修复过程中极大地减少了连接存活节点数,减少了修复故障节点的修复磁盘I/O开销。此外,该部分重复码所需的校验块较少,系统的存储利用率高,且该码构造过程简单,极易推广,可操作性强。
-
公开(公告)号:CN110781024B
公开(公告)日:2023-02-28
申请号:CN201910930824.1
申请日:2019-09-29
Applicant: 长安大学
IPC: G06F11/10
Abstract: 本发明属于计算机领域,公开了一种对称部分重复码的矩阵构造方法及故障节点修复方法。对称部分重复码的矩阵构造方法主要是根据爪形矩阵s1,构造调节矩阵s2,然后将爪形矩阵s1和调节矩阵s2对应位置上的元素相加,得到对称部分重复码的关联矩阵s,进而完成对称部分重复码的矩阵构造。所构造的对称部分重复码的系统存储率高,而且在修复单故障节点有多种修复度为2的修复方案。当任意两个节点发生故障也存在节点的修复度为2的修复方案。相比于传统的部分重复码,节点修复时磁盘I/O开销相对较小,能容两节点故障,且该码构造过程简单,极易推广,可操作性强。
-
公开(公告)号:CN109947587A
公开(公告)日:2019-06-28
申请号:CN201910125393.1
申请日:2019-02-20
Applicant: 长安大学
Abstract: 本发明属于计算机领域,具体涉及非均匀故障保护的分组修复码构造方法及故障修复方法。分组修复码构造方法考虑到实际分布式存储系统中存在不同热度的文件,利用分组思想将整个条带分成长度依次递增的多个数据分组并在组内生成多个组编码块,并通过分组规模的选取为不同热度文件提供不同等级保护,进一步降低多故障节点的磁盘读取开销。该方法所存目标节点故障概率表征数据块故障概率并排序,为高故障概率数据节点提供更高等级保护。多节点故障修复方法在多节点故障修复时,选择先数据分组内修复后全局修复的整体修复原则,尽可能地降低了多节点修复时的磁盘读取开销。
-
公开(公告)号:CN108347306A
公开(公告)日:2018-07-31
申请号:CN201810217605.4
申请日:2018-03-16
Applicant: 长安大学
CPC classification number: H04L1/0061 , H04L41/0663 , H04L67/1097
Abstract: 本发明公开了一种分布式存储系统中类局部重构码编码及节点故障修复方法,分析其修复特点以及分布式存储系统对节点故障修复性能的要求,在增加部分存储开销的前提下,提供了一种所述的类局部重构码进行单节点故障修复的方法。在本发明构造的类局部重构码中,包含一个有局部校验块生成的全局校验块保证数据节点的修复性能,其他校验块全部有数据块通过异或运算编码生成。基于此编码结构,在单节点故障时只需连接较少的节点实现快速恢复,保证了数据文件的快速高效恢复,降低了修复带宽开销。
-
公开(公告)号:CN110781025B
公开(公告)日:2023-02-28
申请号:CN201910930888.1
申请日:2019-09-29
Applicant: 长安大学
IPC: G06F11/10
Abstract: 本发明属于计算机领域,公开了一种基于完全图的对称部分重复码构造及故障节点修复方法。本方法主要是根据n阶完全图中顶点之间的对称关系,构造对称部分重复码。所构造的对称部分重复码不但能快速高效修复单故障节点或任意两个故障节点,而且在修复节点修复过程中节点的修复局部性较小。单故障节点和不连续的两个节点故障有多种修复度为2的修复方案,当两个连续节点发生故障也存在节点的修复度为2的修复方案。相比于传统的部分重复码,节点修复时磁盘I/O开销相对较小,冗余编码块少,且该码构造过程简单,极易推广,可操作性强。
-
公开(公告)号:CN108347306B
公开(公告)日:2020-09-11
申请号:CN201810217605.4
申请日:2018-03-16
Applicant: 长安大学
Abstract: 本发明公开了一种分布式存储系统中类局部重构码编码及节点故障修复方法,分析其修复特点以及分布式存储系统对节点故障修复性能的要求,在增加部分存储开销的前提下,提供了一种所述的类局部重构码进行单节点故障修复的方法。在本发明构造的类局部重构码中,包含一个有局部校验块生成的全局校验块保证数据节点的修复性能,其他校验块全部有数据块通过异或运算编码生成。基于此编码结构,在单节点故障时只需连接较少的节点实现快速恢复,保证了数据文件的快速高效恢复,降低了修复带宽开销。
-
公开(公告)号:CN110389848B
公开(公告)日:2023-03-14
申请号:CN201910554540.7
申请日:2019-06-25
Applicant: 长安大学
Abstract: 本发明属于计算机领域,涉及一种基于分块构造的部分重复码的构造方法。本方法主要是通过对原文件的数据块进行MDS编码生成编码块,构造下三角矩阵,对编码块做分块和复制处理,在单节点故障的修复过程中极大地减少了连接存活节点数,减少了修复故障节点的修复磁盘I/O开销。此外,该部分重复码所需的校验块较少,系统的存储利用率高,且该码构造过程简单,极易推广,可操作性强。
-
公开(公告)号:CN110032470B
公开(公告)日:2023-02-28
申请号:CN201910204203.5
申请日:2019-03-18
Applicant: 长安大学
Abstract: 本发明公开了一种基于哈夫曼树的异构部分重复(Huffman Variable Fractional Repetition,HVFR)码的构造方法,包括以下步骤:将一定时间内的分布式系统的轨迹数据进行统计分析,分为不同访问频率的数据块;将这些不同访问频率的数据块当作哈夫曼树带有确定权值的叶子结点,根据哈夫曼算法构造哈夫曼树;再根据构造的哈夫曼树来确定不同访问频率数据块的重复度;对不同访问频率的数据块进行MDS编码,最后,利用成对平衡设计构造异构FR码。本发明的方法避免了热数据并行访问的瓶颈,达到负载均衡,同时提高系统存储效率,降低故障节点的修复局部性与修复带宽,且计算复杂度低,构造更加简单直观。
-
-
-
-
-
-
-
-
-