-
公开(公告)号：CN118349171A
公开(公告)日：2024-07-16
申请号：CN202410427750.0
申请日：2024-04-10
Applicant: 上海交通大学
IPC: G06F3/06
Abstract: 本发明涉及存储技术领域，尤其涉及一种条带合并方法、系统及可读存储介质，方法包括：将合并前条带的编码矩阵的每一行看作一个分块，构造具有分块对称特征的合并后条带的编码矩阵；基于所述合并后条带的编码矩阵，利用陪集分解理论来构造柯西矩阵生成集中的X和Y，得到柯西编码矩阵；利用所述柯西编码矩阵对条带进行合并，计算得到所述合并后条带的校验块。通过将合并前条带的编码矩阵的每一行看作一个分块，那么合并后条带的编码矩阵则是以合并前条带的编码矩阵的分块构成的一个分块对称矩阵，在这种特征下，条带合并时计算新校验块的过程就可以复用合并前条带的旧校验块，进而减少计算开销。然后再基于所述合并后条带的编码矩阵，使用陪集分解理论来构造柯西矩阵生成集中的X和Y，使得到的柯西编码矩阵在满足柯西矩阵性质的同时具有分块对称的特征，以便于实现窄条带纠删码的友好合并。
-
Patent Agency Ranking
公开(公告)号：CN115858234A
公开(公告)日：2023-03-28
申请号：CN202211725910.7
申请日：2022-12-29
Applicant: 上海交通大学
IPC: G06F11/10 , H04L67/1097 , H04L67/568
Abstract: 本发明提供了一种数据恢复方法、系统及可读存储介质，方法包括以下步骤：S1、基于系统中数据条带的分布情况构建数据流图，在数据流图中，节点分别表示数据条带和解码节点，数据条带与解码节点连接的边代表恢复路径的选择；S2、对数据流图进行检测并识别拥塞的解码节点，将拥塞的解码节点及其在数据流图中相连的边删掉；S3、根据发生故障的数据条带的恢复路径的数量，选用不同的恢复方式。本发明通过利用大规模数据流图的剪枝和增枝，选择合适的数据恢复方案，增枝成功的执行纠删码恢复，增枝失败的执行插帧恢复，可以有效提高恢复性能。
-
公开(公告)号：CN116015552B
公开(公告)日：2025-03-07
申请号：CN202211700534.6
申请日：2022-12-28
Applicant: 上海交通大学
Abstract: 本发明提供了一种针对跨域数据中心的纠删码方法、系统及可读存储介质，方法包括以下步骤：S1、使用二层编码的编码方式，将k个数据块分成p个局部校验分组，并使用MSR编码在每个局部校验分组中生成l个局部校验块，然后使用RS编码生成g个全局校验块，将所有的全局校验块组成一个全局校验分组，和局部校验分组一起共生成p+1个分组；S2、对p+1个分组在N个数据中心内的放置策略进行建模，求解访问延时和恢复传输延时的优化问题，得到分组放置概率矩阵P；S3、根据分组放置概率矩阵P把p+1个块分组放置在N个数据中心内。本发明通过使用MSR和RS的双层编码，并进行放置策略优化，有效解决了数据恢复过程中跨数据中心传输流量大和用户访问延时高的问题。
-
公开(公告)号：CN111626518A
公开(公告)日：2020-09-04
申请号：CN202010482458.0
申请日：2020-05-29
Applicant: 上海交通大学 , 上海市供水调度监测中心
IPC: G06Q10/04 , G06Q50/06 , G06F16/215 , G06F16/2458 , G06N3/04
Abstract: 本发明公开了一种基于深度学习神经网络的城市天级需水量在线预测方法，包括：获取城市天级用水量原始时间序列数据；对异常数据进行预处理；对预处理之后的时间序列数据进行相关性分析；采用CNN-Bi-LSTM-Self-Attention方法，建立所述城市天级需水量预测模型；对节假日、异常气候建立基于统计专家库模型的纠偏机制；采用所述城市天级需水量在线预测方法进行实时预测；计算预测误差，如果所述预测误差没有到达所设定的预测误差的要求，对所述城市天级需水量预测模型进行改进。将CNN和Bi-LSTM神经网络以及自注意力和纠偏机制进行结合，使得预测模型得到了较大的改善，提高了预测效果。
-
公开(公告)号：CN116015552A
公开(公告)日：2023-04-25
申请号：CN202211700534.6
申请日：2022-12-28
Applicant: 上海交通大学
Abstract: 本发明提供了一种针对跨域数据中心的纠删码方法、系统及可读存储介质，方法包括以下步骤：S1、使用二层编码的编码方式，将k个数据块分成p个局部校验分组，并使用MSR编码在每个局部校验分组中生成l个局部校验块，然后使用RS编码生成g个全局校验块，将所有的全局校验块组成一个全局校验分组，和局部校验分组一起共生成p+1个分组；S2、对p+1个分组在N个数据中心内的放置策略进行建模，求解访问延时和恢复传输延时的优化问题，得到分组放置概率矩阵P；S3、根据分组放置概率矩阵P把p+1个块分组放置在N个数据中心内。本发明通过使用MSR和RS的双层编码，并进行放置策略优化，有效解决了数据恢复过程中跨数据中心传输流量大和用户访问延时高的问题。
-
公开(公告)号：CN115878370A
公开(公告)日：2023-03-31
申请号：CN202211710219.1
申请日：2022-12-29
Applicant: 上海交通大学
IPC: G06F11/10 , G06N3/0464 , G06N3/08
Abstract: 本发明提供了一种分布式深度学习的数据恢复方法、系统及可读存储介质，方法包括以下步骤：S1、收集神经网络模型进行训练的参数信息，并利用纠删码获得待恢复数据分布的全局信息；S2、利用人工智能来计算各类别训练数据恢复的优先级，对待恢复的数据所处的条带进行排序；S3、将计算得到的数据恢复优先级和待恢复数据分布的全局信息进行组合，构造并行的恢复方案。本发明通过人工智能为要恢复的数据建立加权优先级，并结合纠删码获得的数据块分布的全局信息来构建并行恢复方案，将纠删码获取数据全局信息的能力与人工智能恢复部分丢失数据的能力结合起来，在可接受的训练精度下大幅降低了资源消耗，加速了云存储系统中分布式深度学习的数据重建。
-
-
-
-
-
Search Results
6
records
(took 0.019 seconds)
