-
公开(公告)号:CN117389950A
公开(公告)日:2024-01-12
申请号:CN202311314189.7
申请日:2023-10-10
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于学习索引的LSM树层设计方法及系统,包括:步骤S1:将多个文件模型拼接为一个层级模型,对于每一层维护一个在内存中的层级模型;步骤S2:使用基数表定位段位置;步骤S3:在每次合并完成后,通过替换层级模型中的部分文件模型,加速训练层级模型的过程。本发明在基于LSM树且依赖学习索引模型加速查找的键值存储中引入了针对层级模型的部分训练方法,不仅提出了一种查找速度比文件模型更快的层级模型,还提出了一种加快层级模型训练速度的部分训练方法,在一定程度上加快了在LSM树中的查找。
-
公开(公告)号:CN110647764B
公开(公告)日:2022-10-28
申请号:CN201910837471.0
申请日:2019-09-05
Applicant: 上海交通大学
IPC: G06F21/62
Abstract: 本发明提供了一种针对用户态非易失性内存文件系统的保护方法及系统,包括:一,利用内存保护键机制在用户态隔离非易失性内存文件系统与应用程序代码;二,将用户态文件系统非易失性内存划分成多区域,在区域之间进行隔离;三,在用户态处理文件系统错误和异常,防止应用程序因文件系统内数据错误而异常终止。本发明提供了一种针对用户态非易失性内存文件系统的保护和隔离机制,保证用户态非易失性内存文件系统不会因应用程序缺陷和错误而造成数据和元数据被肆意破坏,能将元数据错误隔离在一定区域之内,防止错误散落到整个文件系统,并能防止应用程序因用户态文件系统中的错误而异常终止,提升了整个系统的可靠性、鲁棒性和可用性。
-
公开(公告)号:CN106599096B
公开(公告)日:2020-09-15
申请号:CN201611058790.4
申请日:2016-11-24
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于非易失性内存的高性能文件系统设计方法,包括:采用自校验数据结构保存文件系统中的元数据;使用非破坏性更新处理文件系统中的元数据、延迟数据结构的回收和重用,在关键路径中无缓存行刷回指令和内存屏障,只记录关键操作的持久化依赖性;后台线程在负责保障关键信息的持久化,以及对删除的数据结构的回收;使用数据校验和恢复算法对文件系统进行检查以及恢复。本发明在保证的文件系统一致性的情况下,减少缓存行刷回指令以及内存屏障的使用,以减少文件系统的使用延迟,增加其访问吞吐量,提升文件系统性能。
-
公开(公告)号:CN106598730B
公开(公告)日:2020-06-12
申请号:CN201611060153.0
申请日:2016-11-24
Applicant: 上海交通大学
IPC: G06F9/50
Abstract: 本发明提供一种基于非易失性内存的可在线恢复的对象分配器设计方法,包括:使用两个版本号保存每个对象的分配信息;使用版本矩阵保存非易失性内存中每个对象的版本号;在对象分配和对象释放过程中不需要进行持久化操作;故障后的恢复过程中,分配器无需等待恢复完成,可根据已持久化的信息处理新的请求;使用两个版本号在恢复过程中验证一个对象是否在恢复中被重新分配。本发明消除了在分配和释放的时的持久化操作,在故障发生后能够在对分配信息进行恢复的同时,根据已经持久化的信息处理新的请求,提高了正常运行情况下以及在故障发生后对象分配的性能,减少了因故障宕机和恢复导致的服务中断时间。
-
公开(公告)号:CN110647764A
公开(公告)日:2020-01-03
申请号:CN201910837471.0
申请日:2019-09-05
Applicant: 上海交通大学
IPC: G06F21/62
Abstract: 本发明提供了一种针对用户态非易失性内存文件系统的保护方法及系统,包括:一,利用内存保护键机制在用户态隔离非易失性内存文件系统与应用程序代码;二,将用户态文件系统非易失性内存划分成多区域,在区域之间进行隔离;三,在用户态处理文件系统错误和异常,防止应用程序因文件系统内数据错误而异常终止。本发明提供了一种针对用户态非易失性内存文件系统的保护和隔离机制,保证用户态非易失性内存文件系统不会因应用程序缺陷和错误而造成数据和元数据被肆意破坏,能将元数据错误隔离在一定区域之内,防止错误散落到整个文件系统,并能防止应用程序因用户态文件系统中的错误而异常终止,提升了整个系统的可靠性、鲁棒性和可用性。
-
公开(公告)号:CN104866430B
公开(公告)日:2017-12-15
申请号:CN201510217307.1
申请日:2015-04-30
Applicant: 上海交通大学
Abstract: 本发明提供了一种结合主从备份和纠删码的内存计算系统高可用优化方法,包括如下步骤:将分布式系统分为多个组,每个组保护M个主节点和N个从节点,且M和N的值均大于零;每个所述主节点上的内存包括:A区和B区,所述A区用于保存元数据,所述B区用于保存值数据,其中元数据包括键到值数据地址的索引和内存分配信息,值数据包括该节点上所有键对应的值数据;每个所述从节点上的内存包括:C区和D区;所述C区用于保存备份元数据,所述D区用于保存值数据编码;引入纠删码的更新操作保护值数据;当主节点发生宕机后,任一从节点构成恢复节点代替主节点处理请求,并利用在线恢复协议恢复丢失数据。
-
公开(公告)号:CN106598730A
公开(公告)日:2017-04-26
申请号:CN201611060153.0
申请日:2016-11-24
Applicant: 上海交通大学
IPC: G06F9/50
Abstract: 本发明提供一种基于非易失性内存的可在线恢复的对象分配器设计方法,包括:使用两个版本号保存每个对象的分配信息;使用版本矩阵保存非易失性内存中每个对象的版本号;在对象分配和对象释放过程中不需要进行持久化操作;故障后的恢复过程中,分配器无需等待恢复完成,可根据已持久化的信息处理新的请求;使用两个版本号在恢复过程中验证一个对象是否在恢复中被重新分配。本发明消除了在分配和释放的时的持久化操作,在故障发生后能够在对分配信息进行恢复的同时,根据已经持久化的信息处理新的请求,提高了正常运行情况下以及在故障发生后对象分配的性能,减少了因故障宕机和恢复导致的服务中断时间。
-
-
-
-
-
-