-
公开(公告)号：CN116015552B
公开(公告)日：2025-03-07
申请号：CN202211700534.6
申请日：2022-12-28
Applicant: 上海交通大学
Abstract: 本发明提供了一种针对跨域数据中心的纠删码方法、系统及可读存储介质，方法包括以下步骤：S1、使用二层编码的编码方式，将k个数据块分成p个局部校验分组，并使用MSR编码在每个局部校验分组中生成l个局部校验块，然后使用RS编码生成g个全局校验块，将所有的全局校验块组成一个全局校验分组，和局部校验分组一起共生成p+1个分组；S2、对p+1个分组在N个数据中心内的放置策略进行建模，求解访问延时和恢复传输延时的优化问题，得到分组放置概率矩阵P；S3、根据分组放置概率矩阵P把p+1个块分组放置在N个数据中心内。本发明通过使用MSR和RS的双层编码，并进行放置策略优化，有效解决了数据恢复过程中跨数据中心传输流量大和用户访问延时高的问题。
-
公开(公告)号：CN115904796A
公开(公告)日：2023-04-04
申请号：CN202211667277.0
申请日：2022-12-23
Applicant: 上海交通大学
IPC: G06F11/10
Abstract: 本发明提供了一种长链纠删码的编解码方法、系统及可读存储介质，方法包括以下步骤：S1、通过量化方式来最小化单错误跨机柜恢复代价，选择合适的数据分组策略和数据放置策略，确定编码参数；S2、对三维编码的每一维依次进行编码；S3、利用解码算法对数据进行恢复，优先使用低维编码进行校验恢复，恢复失败再调用高维编码对每一维进行校验恢复。本发明通过对单错误跨机柜恢复代价作量化分析，基于分析结果进行机柜级别的条带放置，使条带横跨更少的机柜；同时在长链纠删码的解码阶段，优先使用低维编码进行校验恢复，恢复失败再调用高维编码，充分考虑网络拓扑，尽可能降低跨机柜恢复代价，进而提高恢复性能。
-
Patent Agency Ranking
公开(公告)号：CN116015552A
公开(公告)日：2023-04-25
申请号：CN202211700534.6
申请日：2022-12-28
Applicant: 上海交通大学
Abstract: 本发明提供了一种针对跨域数据中心的纠删码方法、系统及可读存储介质，方法包括以下步骤：S1、使用二层编码的编码方式，将k个数据块分成p个局部校验分组，并使用MSR编码在每个局部校验分组中生成l个局部校验块，然后使用RS编码生成g个全局校验块，将所有的全局校验块组成一个全局校验分组，和局部校验分组一起共生成p+1个分组；S2、对p+1个分组在N个数据中心内的放置策略进行建模，求解访问延时和恢复传输延时的优化问题，得到分组放置概率矩阵P；S3、根据分组放置概率矩阵P把p+1个块分组放置在N个数据中心内。本发明通过使用MSR和RS的双层编码，并进行放置策略优化，有效解决了数据恢复过程中跨数据中心传输流量大和用户访问延时高的问题。
-
公开(公告)号：CN115878370A
公开(公告)日：2023-03-31
申请号：CN202211710219.1
申请日：2022-12-29
Applicant: 上海交通大学
IPC: G06F11/10 , G06N3/0464 , G06N3/08
Abstract: 本发明提供了一种分布式深度学习的数据恢复方法、系统及可读存储介质，方法包括以下步骤：S1、收集神经网络模型进行训练的参数信息，并利用纠删码获得待恢复数据分布的全局信息；S2、利用人工智能来计算各类别训练数据恢复的优先级，对待恢复的数据所处的条带进行排序；S3、将计算得到的数据恢复优先级和待恢复数据分布的全局信息进行组合，构造并行的恢复方案。本发明通过人工智能为要恢复的数据建立加权优先级，并结合纠删码获得的数据块分布的全局信息来构建并行恢复方案，将纠删码获取数据全局信息的能力与人工智能恢复部分丢失数据的能力结合起来，在可接受的训练精度下大幅降低了资源消耗，加速了云存储系统中分布式深度学习的数据重建。
-
公开(公告)号：CN118349171A
公开(公告)日：2024-07-16
申请号：CN202410427750.0
申请日：2024-04-10
Applicant: 上海交通大学
IPC: G06F3/06
Abstract: 本发明涉及存储技术领域，尤其涉及一种条带合并方法、系统及可读存储介质，方法包括：将合并前条带的编码矩阵的每一行看作一个分块，构造具有分块对称特征的合并后条带的编码矩阵；基于所述合并后条带的编码矩阵，利用陪集分解理论来构造柯西矩阵生成集中的X和Y，得到柯西编码矩阵；利用所述柯西编码矩阵对条带进行合并，计算得到所述合并后条带的校验块。通过将合并前条带的编码矩阵的每一行看作一个分块，那么合并后条带的编码矩阵则是以合并前条带的编码矩阵的分块构成的一个分块对称矩阵，在这种特征下，条带合并时计算新校验块的过程就可以复用合并前条带的旧校验块，进而减少计算开销。然后再基于所述合并后条带的编码矩阵，使用陪集分解理论来构造柯西矩阵生成集中的X和Y，使得到的柯西编码矩阵在满足柯西矩阵性质的同时具有分块对称的特征，以便于实现窄条带纠删码的友好合并。
-
公开(公告)号：CN116009782A
公开(公告)日：2023-04-25
申请号：CN202211710238.4
申请日：2022-12-29
Applicant: 上海交通大学
IPC: G06F3/06 , G06F16/901
Abstract: 本发明提供了一种基于图的跨机柜更新方法、系统及可读存储介质，方法包括以下步骤：S1、构建关系图辅助数据放置，其中，在关系图中，点表示数据块，边表示数据块之间的关联，点权表示数据块的访问热度，边权表示两个数据块之间的关联程度；S2、在关系图中找到一组数据块，使这组数据块内部的边权之和达到最大并组织为条带；S3、将条带中相关性最强的一组数据块放在同一个机柜中，并保证各个机柜点权之间的差异最小；S4、构建并行树，在并行树中，节点代表机柜，边代表机柜之间的网络链路。本发明通过用关系图辅助数据放置，能够减少I/O操作次数和跨机柜传输量。并且，通过构造并行树选择最近的网络传输路径，减少了网络传输延时。
-
公开(公告)号：CN115858234A
公开(公告)日：2023-03-28
申请号：CN202211725910.7
申请日：2022-12-29
Applicant: 上海交通大学
IPC: G06F11/10 , H04L67/1097 , H04L67/568
Abstract: 本发明提供了一种数据恢复方法、系统及可读存储介质，方法包括以下步骤：S1、基于系统中数据条带的分布情况构建数据流图，在数据流图中，节点分别表示数据条带和解码节点，数据条带与解码节点连接的边代表恢复路径的选择；S2、对数据流图进行检测并识别拥塞的解码节点，将拥塞的解码节点及其在数据流图中相连的边删掉；S3、根据发生故障的数据条带的恢复路径的数量，选用不同的恢复方式。本发明通过利用大规模数据流图的剪枝和增枝，选择合适的数据恢复方案，增枝成功的执行纠删码恢复，增枝失败的执行插帧恢复，可以有效提高恢复性能。
-
-
-
-
-
-
Search Results
7
records
(took 0.017 seconds)
