-
公开(公告)号:CN118860619A
公开(公告)日:2024-10-29
申请号:CN202310486311.2
申请日:2023-04-28
Applicant: 上海交通大学
Abstract: 本发明提供了一种单机键值索引的轻量级负载均衡方法、系统、介质及设备,包括:将单机键值索引划分成多个数据分区,每个数据分区被各个CPU核独占访问;通过基于队列长度阈值的策略检测负载不均衡现象,触发负载重均衡机制步骤以使得负载再次均衡;在各数据分区负载不均衡的情况下,对处于热点区域的数据结构轻量级的切分成均衡的两个部分,并将其中一个部分重新分配到另一个CPU核上,完成负载重均衡。本发明在基于数据分割单机内存键值索引上引入了轻量级负载均衡方法,结合不同内存键值索引数据结构的特性,基于此提供提高键值索引的吞吐量和可扩展性,解决了倾斜键值分布下的负载不均衡问题。
-
公开(公告)号:CN110659248B
公开(公告)日:2022-11-11
申请号:CN201910838138.1
申请日:2019-09-05
Applicant: 上海交通大学
IPC: G06F16/11
Abstract: 本发明提供了一种基于非易失性内存的用户态文件系统设计方法及系统,包括:将具有相同用户/组和权限的文件放在同一个coffer中,整个用户态文件系统树由coffer组成;内核态文件系统管理模块以coffer的粒度对整个文件系统进行管理;用户态文件系统库通过发起对coffer的映射请求,获得对coffer的访问权限;用户态文件系统库与内核态文件系统管理模块通过系统调用进行交互;由内核态文件系统对整个文件系统进行整体空间管理,并将部分空间划归给各个用户态文件系统库。本发明减少系统调用造成的性能开销,充分发挥非易失性内存的高性能。
-
公开(公告)号:CN104866430A
公开(公告)日:2015-08-26
申请号:CN201510217307.1
申请日:2015-04-30
Applicant: 上海交通大学
Abstract: 本发明提供了一种结合主从备份和纠删码的内存计算系统高可用优化方法,包括如下步骤:将分布式系统分为多个组,每个组保护M个主节点和N个从节点,且M和N的值均大于零;每个所述主节点上的内存包括:A区和B区,所述A区用于保存元数据,所述B区用于保存值数据,其中元数据包括键到值数据地址的索引和内存分配信息,值数据包括该节点上所有键对应的值数据;每个所述从节点上的内存包括:C区和D区;所述C区用于保存备份元数据,所述D区用于保存值数据编码;引入纠删码的更新操作保护值数据;当主节点发生宕机后,任一从节点构成恢复节点代替主节点处理请求,并利用在线恢复协议恢复丢失数据。
-
公开(公告)号:CN117370350A
公开(公告)日:2024-01-09
申请号:CN202311316603.8
申请日:2023-10-11
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于动态层高的LSM树读优化设计方法及系统,包括:步骤S1:在写流量较大,触发预设条件时增加一层保证写性能不受影响,在写流量较小,触发另一预设条件时减少一层提高读性能;步骤S2:将基于LSM树的键值存储中的后台合并类型分为普通合并与减层合并,并分别用不同的线程执行,根据工作负载动态调整层数的LSM树架构。本发明在基于LSM树的键值存储中引入了动态调整层数的方法,可以根据当前工作负载自动调整层数参数,来达到实时最优性能,将用户从手动调整层数参数的繁杂工作中解放出来,在一定程度上解决了LSM树自身结构带来的读放大问题。
-
公开(公告)号:CN116795944A
公开(公告)日:2023-09-22
申请号:CN202210249607.8
申请日:2022-03-14
Applicant: 上海交通大学
IPC: G06F16/31 , G06F16/332 , G06F16/33
Abstract: 本发明提供了一种针对基于非易失性内存的文件系统的新型索引方法及系统,包括:同时进行反向索引和常规索引,通过多线程同时检索常规索引和反向索引直至找到对应文件;所述反向索引以文件路径的末端文件名为起点反向遍历文件路径进行目录索引直至获得对应文件;所述常规索引由根目录开始,通过逐级目录名进行索引直至获得对应文件。本发明在进行索引时通过多线程同时检索常规索引以及反向索引以充分利用非易失性内存的性能优势。
-
公开(公告)号:CN106599096A
公开(公告)日:2017-04-26
申请号:CN201611058790.4
申请日:2016-11-24
Applicant: 上海交通大学
IPC: G06F17/30
Abstract: 本发明提供了一种基于非易失性内存的高性能文件系统设计方法,包括:采用自校验数据结构保存文件系统中的元数据;使用非破坏性更新处理文件系统中的元数据、延迟数据结构的回收和重用,在关键路径中无缓存行刷回指令和内存屏障,只记录关键操作的持久化依赖性;后台线程在负责保障关键信息的持久化,以及对删除的数据结构的回收;使用数据校验和恢复算法对文件系统进行检查以及恢复。本发明在保证的文件系统一致性的情况下,减少缓存行刷回指令以及内存屏障的使用,以减少文件系统的使用延迟,增加其访问吞吐量,提升文件系统性能。
-
公开(公告)号:CN117270784A
公开(公告)日:2023-12-22
申请号:CN202311323283.9
申请日:2023-10-12
Applicant: 上海交通大学
IPC: G06F3/06
Abstract: 本发明提供了一种基于非易失性内存的微内核操作系统持久化方法及系统,利用微内核操作系统的特点,将系统抽象成由系统状态对象组成的树状结构,以便高效地捕获整个系统状态并持久化系统,此外,该方法将操作系统的状态全部放在非易失性内存设备上,并通过高效的多版本对象管理策略,实现了低开销的全系统持久化,该方法还使用一个具备自我故障恢复能力的检查点管理模块,来定期进行检查点的创建,并负责管理运行时对象和检查点对象的分配和回收。本发明具有低开销、高频率、支持与系统外部世界同步等特点,并且可以让运行在其上的应用不用任何修改就可以获得持久化支持,具有广泛的适用性。
-
公开(公告)号:CN111159056A
公开(公告)日:2020-05-15
申请号:CN201911268753.X
申请日:2019-12-11
Applicant: 上海交通大学
Abstract: 本发明提供了一种针对非易失性内存的可伸缩内存分配方法及系统,包括:步骤M1:双层内存管理包括一个全局分配器和多个本地分配器;步骤M2:全局分配器管理操作系统所有非易失性内存;步骤M3:本地分配器从全局分配器中批量分配或释放非易失性内存,然后本地分配器再进行线程内分配和释放。本发明提出的基于非易失性内存的内存分配方法,利用线程本地存储,为每个线程分配一定量的空闲非易失性内存,可以降低并发分配时的竞争,提高系统的并发性能。
-
公开(公告)号:CN110659248A
公开(公告)日:2020-01-07
申请号:CN201910838138.1
申请日:2019-09-05
Applicant: 上海交通大学
IPC: G06F16/11
Abstract: 本发明提供了一种基于非易失性内存的用户态文件系统设计方法及系统,包括:将具有相同用户/组和权限的文件放在同一个coffer中,整个用户态文件系统树由coffer组成;内核态文件系统管理模块以coffer的粒度对整个文件系统进行管理;用户态文件系统库通过发起对coffer的映射请求,获得对coffer的访问权限;用户态文件系统库与内核态文件系统管理模块通过系统调用进行交互;由内核态文件系统对整个文件系统进行整体空间管理,并将部分空间划归给各个用户态文件系统库。本发明减少系统调用造成的性能开销,充分发挥非易失性内存的高性能。
-
公开(公告)号:CN119993239A
公开(公告)日:2025-05-13
申请号:CN202510172668.2
申请日:2025-02-17
Applicant: 上海交通大学
IPC: G11C13/02
Abstract: 本发明提供了一种基于DNA存储介质的新型块存储系统及方法,包括:为用户提供读取和写入的操作接口;通过异地更新的技术,为用户提供了高效的读取和写入操作接口;将块设备翻译表的绝大部分放在DNA中,并利用了固态硬盘加速翻译,以提供更优的性能;还涉及到一种高效回收块设备中垃圾数据的垃圾回收机制,通过将垃圾回收的元数据与数据共同储存,并将无效化垃圾数据延迟到读取时进行的方法,高效、低成本的释放了块设备中的垃圾数据,减轻了数据的碎片化。
-
-
-
-
-
-
-
-
-