-
公开(公告)号:CN112835534B
公开(公告)日:2022-08-02
申请号:CN202110220806.1
申请日:2021-02-26
Applicant: 上海交通大学
IPC: G06F3/06
Abstract: 本申请公开了一种基于存储阵列数据访问的垃圾回收优化方法及装置,该方法包括:根据请求来源和预设的数据冷热分类算法对接收的数据访问请求进行分类判别,得到对应的分类信息;根据分类信息调用缓存队列算法对数据访问请求进行缓存判断,以加入至对应分类的目标缓存队列中;若目标缓存队列中的待访问数据达到预设标准阈值,则根据地址映射表将待访问数据以条带为单位写入至对应的目标节点中;若所述存储阵列中没有可写入的存储空间或者工作队列中的空白节点小于预设数量,则采用延时删除无效数据的垃圾回收机制进行数据回收。通过实施本申请,能够解决现有技术中存在的存储阵列写放大问题及引起严重的IO问题等。
-
公开(公告)号:CN113886115A
公开(公告)日:2022-01-04
申请号:CN202111055051.0
申请日:2021-09-09
Applicant: 上海智能网联汽车技术中心有限公司 , 上海交通大学
IPC: G06F11/07
Abstract: 本发明涉及一种基于车路协同的区块链拜占庭容错方法,该方法包括以下步骤:步骤1:基于联盟链存储新生成的车路数据,并得到新生成的区块;步骤2:获取新生成的区块基于全副本策略进行存储的访问频率;步骤3:对各区块基于全副本策略存储时的访问频率进行评估,划分成热区块和冷区块;步骤4:对热区块和冷区块基于两种不同的存储机制进行存储,以实现拜占庭容错并降低恢复时的网络开销和延时,与现有技术相比,本发明具有在实现拜占庭容错的基础上降低区块恢复网络带宽以及降低恢复时的网络开销和延时等优点。
-
公开(公告)号:CN112835533A
公开(公告)日:2021-05-25
申请号:CN202110213563.9
申请日:2021-02-25
Applicant: 上海交通大学
IPC: G06F3/06
Abstract: 本申请公开了一种基于机架级别的云存储阵列扩展方法及装置,该方法包括:对扩展存储阵列的输入参数进行计算,得到所述扩展存储阵列的扩展参数;根据所述扩展参数,确定所述扩展存储阵列对应的目标扩展策略;按照所述目标扩展策略,对所述原始存储阵列中的待迁移块进行相应的迁移,并更新对应的校验块。通过实施本申请,能够解决现有技术中存在的不能适用于多维编码扩展场景、扩展迁移效率较低等问题。
-
公开(公告)号:CN107506152B
公开(公告)日:2020-05-08
申请号:CN201710818645.X
申请日:2017-09-12
Applicant: 上海交通大学
IPC: G06F3/06
Abstract: 本发明提供一种提高PM访存请求并行度的解析装置与方法,包括地址范围划分模块、Bank序列号识别模块、Bank序列号平衡模块,局部性策略控制模块。访存请求经地址范围划分模块,区分DRAM请求与PM请求;经Bank序列号识别模块,识别访存请求中的Bank序列号;经Bank序列号平衡模块,将Bank号集中的访存请求转化为分散的请求,并确保这些访存请求分配给不同的调度队列;局部性策略控制模块,用于批量处理具有行缓存局部性特征的访存请求;最大限度的使用Open‑page模式,使得具有局部性特征的访存请求能够被高效的调度;本发明能够方便快捷的解析DRAM和PM访存指令,对于PM类型的访存请求提高其Bank并行度及行缓存局部性。
-
公开(公告)号:CN106407226B
公开(公告)日:2019-09-13
申请号:CN201510468057.9
申请日:2015-07-31
IPC: G06F16/174 , G06F11/16
Abstract: 本发明公开了一种数据处理方法、备份服务器及存储系统,用于解决因指纹比对消耗大量I/O资源导致数据存储的效率较低的问题。该数据处理方法包括:根据指纹索引表中的索引指纹以及待存储数据块的指纹确定第一指纹集合;根据所述第一索引指纹获得第一指纹表中包含有与所述待存储数据块的指纹相同的指纹的第一概率,并根据所述第二索引指纹获得所述第二指纹表中包含有与所述待存储数据块的指纹相同的指纹的第二概率;根据所述第一概率和第二概率确定第二指纹集合;获得所述第一索引指纹所代表的多个指纹与所述待存储数据块的指纹的匹配结果。
-
公开(公告)号:CN104850468B
公开(公告)日:2018-04-27
申请号:CN201510290040.9
申请日:2015-05-31
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于校验矩阵的纠删码解码方法,本发明适用于任意基于异或操作的纠删码,本发明通过对校验矩阵进行解码,从而对解码效率带来非常大的提升。另外,通过构造稀疏校验矩阵的迭代算法,能进一步提升本发明的解码效率。相比于传统的两种实现方法,本发明同时具有通用性和高效性。
-
公开(公告)号:CN107506152A
公开(公告)日:2017-12-22
申请号:CN201710818645.X
申请日:2017-09-12
Applicant: 上海交通大学
IPC: G06F3/06
Abstract: 本发明提供一种提高PM访存请求并行度的解析装置与方法,包括地址范围划分模块、Bank序列号识别模块、Bank序列号平衡模块,局部性策略控制模块。访存请求经地址范围划分模块,区分DRAM请求与PM请求;经Bank序列号识别模块,识别访存请求中的Bank序列号;经Bank序列号平衡模块,将Bank号集中的访存请求转化为分散的请求,并确保这些访存请求分配给不同的调度队列;局部性策略控制模块,用于批量处理具有行缓存局部性特征的访存请求;最大限度的使用Open-page模式,使得具有局部性特征的访存请求能够被高效的调度;本发明能够方便快捷的解析DRAM和PM访存指令,对于PM类型的访存请求提高其Bank并行度及行缓存局部性。
-
公开(公告)号:CN106293526A
公开(公告)日:2017-01-04
申请号:CN201610637554.1
申请日:2016-08-05
Applicant: 上海交通大学
IPC: G06F3/06
CPC classification number: G06F3/061 , G06F3/064 , G06F3/0689
Abstract: 本发明公开了一种三盘容错阵列的可扩展方法及系统,该方法包括如下步骤:准备阶段,从存储系统中收集相关的参数,为接下来的两个阶段计算必要的参数;迁移阶段,选择一部分条带作为条带集,并且根据准备阶段中计算出的参数,在每个条带中选出一些数据行,用来迁移至新加的磁盘中;合并阶段,将空的条带聚合,通过本发明,可以确保扩展后数据分布是均衡的,扩展过程中的I/O开销较小。
-
-
公开(公告)号:CN104866244A
公开(公告)日:2015-08-26
申请号:CN201510291854.4
申请日:2015-05-31
Applicant: 上海交通大学
IPC: G06F3/06
Abstract: 本发明提供了一种平衡条带写的RAID-6I/O调度方法,通过分析写请求的输入输出分布,重组这些请求,从而通过校验共享,将相应校验的修改数量最小化,将输入输出碎片和到来的相同条带中的写请求被聚合成一个新的写请求,并将新的写请求一次性写入磁盘,标记下在重组过程中生成的非法数据块,将非法数据块记录到内存中,将所述非法数据块进行垃圾回收,保存非法数据块的元数据信息用于准备重新分配,可以减少写操作并均衡RAID存储系统中的磁盘负载,本发明基本思想是在对相应校验有全局了解的基础上进行条带写,通过重组数据块的分布,来减少条带写所需修改校验数量。
-
-
-
-
-
-
-
-
-