-
公开(公告)号:CN119493769A
公开(公告)日:2025-02-21
申请号:CN202311037094.5
申请日:2023-08-15
Abstract: 本申请涉及计算机技术领域,具体涉及一种索引方法、程序产品、介质以及电子设备。该方法中使用2层的目录结构进行文件管理,第一层目录中包括一定数量的插槽,第二层目录包括一定数量的段,每个段包括相同数量的插槽,段中的插槽用于存储文件索引信息地址。在具体索引时,根据文件索引在第一层目录中的多个插槽中找到对应的插槽,该插槽有对应的段;根据文件索引在第二层目录的对应段中索引,得到索引结果。由于每个段中的插槽数量是相同的,所以在获取到任意的文件索引后,当根据文件索引找到存储有文件索引信息地址的段后,在每个段中索引的时间是存在一个上限范围的,进而避免在文件数量较大的情况下,索引效率低的问题。
-
公开(公告)号:CN118689806A
公开(公告)日:2024-09-24
申请号:CN202410744096.6
申请日:2024-06-11
Applicant: 上海交通大学
Abstract: 本发明公开了一种持久内存设备控制器,包括,控制器核心模块、异构内存模块、事务处理模块和内存单元管理模块。控制器核心模块,用于对系统时钟同步和内存访问时序控制、持久内存系统启动顺序控制、持久内存系统控制器芯片、和/或环境传感器的控制;异构内存模块,用于实现持久内存管理系统和所连接内存介质数据和控制消息的通信;事务处理模块,用于将持久内存系统中的操作转为事务进行操作,并将持久内存系统事务翻译为CXL事务或PCIe事务;内存单元管理模块,用于管理全局内存地址空间和各内存介质地址空间的映射关系,同时为持久内存介质提供磨损均衡算法运行支持。
-
公开(公告)号:CN118689645A
公开(公告)日:2024-09-24
申请号:CN202410744106.6
申请日:2024-06-11
Applicant: 上海交通大学
IPC: G06F9/50 , G06F12/1036
Abstract: 本发明公开了一种持久内存池化管理系统,所述系统包含,轻量级管理模块、基于池化的分配与调度模块、多级别安全保障模块、持久内存故障预测模块。轻量级管理模块,用以实现轻量级漏洞恢复机制,崩溃一致性与安全持久化关系;基于池化的分配与调度模块,用以实现CXL内存操作系统抽象机制以及兼容性,CXL内存页缓存机制以及SWAP机制;多级别安全保障模块,用以实现持久内存TME和MKTME机制,以持久内存为中心的多级别保障;持久内存故障预测模块,用以实现持久内存典型应用访存系列特征图,故障相关进程以及缓存分析。
-
公开(公告)号:CN116737685A
公开(公告)日:2023-09-12
申请号:CN202310755386.6
申请日:2023-06-25
Applicant: 上海交通大学
IPC: G06F16/182 , G06F16/172 , G06F16/13 , G06N3/0499 , G06N3/08 , G06F9/48 , G06F15/173
Abstract: 本发明提供了一种面向分布式文件系统的高并发读写优化系统、介质及设备,包括:数据读写并发控制模块采用细粒度的读写锁保障数据一致性和高并发性;文件数据缓存模块控制客户端系统对服务器端文件系统的数据缓存;读写请求延迟预测模块,该模块预测客户端的文件读写请求运行时延迟以提供路径优化方案;读写任务执行模块,该模块通过同时执行本地和远端的数据读写操作保证高并发条件下的读写性能。本发明主要针对以非易失内存和RDMA技术为基础构建的分布式文件系统在面对高并发读写任务时的性能瓶颈问题,提出了一个新型的数据读写优化系统。本发明提高了分布式文件系统对存储设备和网络设备的带宽利用率,从而提升了系统读写文件的总体性能。
-
公开(公告)号:CN113010477B
公开(公告)日:2023-09-12
申请号:CN202110310068.X
申请日:2021-03-23
Applicant: 中兴通讯股份有限公司 , 上海交通大学
Abstract: 本申请提出一种持久内存文件系统元数据的检索方法和装置、存储结构,涉及数据处理技术领域。该方法包括:基于待检索路径确定待检索哈希值,待检索路径用于查找元数据的存储路径;依据待检索哈希值、指纹库和存储路径哈希值,确定待检索路径对应的存储地址,指纹库用于记录存储路径哈希值的特征,存储路径哈希值是元数据的存储路径对应的哈希值;从待检索路径对应的存储地址获得元数据。通过基于待检索路径确定待检索哈希值,方便对待检索路径进行处理;通过指纹库先对存储路径哈希值的特征进行筛选,能够加快检索速度,提高元数据的检索效率;从待检索路径对应的存储地址获得元数据,保证检索结果的准确性。
-
公开(公告)号:CN116578409A
公开(公告)日:2023-08-11
申请号:CN202310348807.3
申请日:2023-03-31
Applicant: 上海交通大学
IPC: G06F9/50 , G06F12/1009
Abstract: 本发明提供了一种内存热页识别与迁移的方法、系统及介质,涉及计算机系统结构技术领域,包括:步骤S1:初始化内存节点;步骤S2:记录内存页面的访问频率;步骤S3:对各所述内存页面的热度分布进行统计,得到统计结果;步骤S4:对所述统计结果进行分析;步骤S5:根据分析,对系统参数进行动态调整;步骤S6:筛选内存热页,将内存热页迁移到内存节点。本发明能够能够很好地降低内存访问的平均延迟。
-
公开(公告)号:CN116401416A
公开(公告)日:2023-07-07
申请号:CN202310411617.1
申请日:2023-04-17
Applicant: 上海交通大学
IPC: G06F16/901 , G06F11/07
Abstract: 本发明提供了一种支持无锁化并发访问的持久可变基数树访问系统,包括:数据存储模块:组织和管理可变基数树的前缀节点、叶子节点以及数据的持久存储,并支持通用可变基数树读写访问接口;本地访问模块:接收本地应用对可变基数树的读写请求并放入处理队列等待后台处理模块进行处理;后台处理模块:对处理队列中的读写请求进行处理,更新可变基数树的前缀节点和叶子节点,并保证可变基数树的元数据和数据处于一致状态;数据恢复模块:在持久可变基数树访问系统重启后检测故障一致性,当数据不一致时恢复可变基数树中的所有数据到一致状态。
-
公开(公告)号:CN111400307B
公开(公告)日:2023-06-23
申请号:CN202010105294.X
申请日:2020-02-20
IPC: G06F16/22 , G06F16/23 , G06F16/2458 , G06F21/62
Abstract: 本发明提供了一种支持远程并发访问的持久哈希表访问系统,包括:数据存储模块:组织和管理哈希表的元数据及数据的持久存储,并支持通用哈希表读写访问接口;远程访问模块:建立服务端与客户端的RDMA通信连接,实现客户端的远程访问;后台处理模块:后台辅助客户端的远程写请求,更新相关数据及元数据,以保证哈希表的元数据和数据处于一致状态;数据恢复模块:在服务端开启持久哈希表时检测故障一致性,当数据不一致时恢复哈希表中的所有数据到一致状态。本发明能够降低远程读写延迟,减少服务端负载压力,支持高并发远程访问,保障高效数据一致性。
-
公开(公告)号:CN111125049B
公开(公告)日:2023-06-23
申请号:CN201911348068.8
申请日:2019-12-24
IPC: G06F16/182 , G06F16/16 , G06F16/13 , G06F3/06
Abstract: 本发明提供了一种基于RDMA与非易失内存的分布式文件数据块读写方法及系统,包括:步骤M1:管理层节点对服务层节点数据存储空间所组成的共享内存池进行统一编址与管理;步骤M2:在客户端节点、管理节点及服务节点间建立RDMA连接后,响应客户端读写请求,管理节点间维持元数据一致性;步骤M3:分布式文件数据分块并发读、分布式文件数据分块并发写,服务节点响应客户端请求,将海量数据按块粒度进行切分,客户端节点在备份组平行服务节点间进行单边并发分块读与单边并发分块写操作。本发明能够在分布式系统中为客户端提供高效数据读写服务,本发明能够避免写操作对读操作的阻塞。
-
公开(公告)号:CN111400306B
公开(公告)日:2023-03-28
申请号:CN202010104445.X
申请日:2020-02-20
IPC: G06F16/22 , G06F16/245
Abstract: 本发明提供了一种基于RDMA与非易失性内存的基数树访问系统,包括:数据存储模块:采用非易失性持久内存作为基数树的存储介质;远程读写模块:建立服务端CPU与客户端的RDMA通信连接;后台处理模块:在客户端进行远程读写时进行后台处理,保证数据的一致性。S1:在基数树初始化阶段,构建一块数据块,以支持远端数据的插入、更新和删除;S2:在基数树初始数据块存满后,重构数据结构为基数树结构,其中包含前缀节点和数据节点,并将树结构的前缀节点写入到客户端;S3:定期检查基数树的数据节点。本发明树能够在有效保障数据一致性的前提下,极大减轻服务端CPU的压力,提高吞吐率,从而提高远程数据读写的整体性能。
-
-
-
-
-
-
-
-
-