持久性内存的数据存储访问方法、设备及装置

    公开(公告)号:CN110377436B

    公开(公告)日:2021-04-27

    申请号:CN201910631722.X

    申请日:2019-07-12

    Applicant: 清华大学

    Abstract: 本发明公开了一种持久性内存的数据存储访问方法、设备及装置,该方法包括:使设备中的文件系统在内核空间接收用户库的访问请求,用户库工作在用户态,访问请求是第三方应用程序通过用户库发起的,且携带操作类型;若操作类型是读操作,则使文件系统允许第三方应用程序通过用户库直接访问设备的持久性内存空间;若操作类型不是读操作,则使文件系统允许第三方应用程序通过用户库和内核线程访问设备的持久性内存空间,内核线程工作在内核态。通过这种方式,本发明能够同时实现持久性内存的高性能和数据安全性,为在多核场景下的扩展能力提供技术支持。

    一种基于持久性内存的远程数据传输方法

    公开(公告)号:CN111404931B

    公开(公告)日:2021-03-30

    申请号:CN202010177563.3

    申请日:2020-03-13

    Applicant: 清华大学

    Abstract: 本发明涉及持久性内存的远程数据传输技术领域,具体涉及一种基于持久性内存的远程数据传输方法,包括RDMA连接的客户端和配置有持久性内存的服务端,客户端向服务端发送远程数据传输请求,当接收到返回结果,提供返回消息池地址和回调函数的方式对返回结果进行操作;客户端通过负载均衡策略连接到服务端,客户端提供远程过程调用操作远端持久性内存和远程直接读写内存的数据传输方式,该远程直接读写内存支持远程持久化写内存;服务端接收远程数据传输请求并发送返回结果;服务端管理持久性内存与消息池,并支持不同服务端之间调用嵌套远程过程调用。该方法具备高效的多客户端并发远程数据操作性能、服务端可扩展能力和持久性内存友好性。

    存储方法及装置
    144.
    发明公开

    公开(公告)号:CN112286456A

    公开(公告)日:2021-01-29

    申请号:CN202011166698.6

    申请日:2020-10-27

    Applicant: 清华大学

    Abstract: 本公开涉及一种存储方法及装置。所述方法包括:根据有序数据流,获得与有序数据流对应的顺序元数据序列以及无序数据流;对顺序元数据序列进行旁路存储,并将无序数据流中的多个数据并行存储至多个存储设备的缓冲区;在接收到数据持久化指令时,根据顺序元数据序列对至少一个存储设备的缓冲区中的数据进行持久化存储。根据本公开的实施例的存储方法,可确定有序数据流的顺序元数据序列以及与有序数据流数据一致的无序数据流,并对顺序元数据序列进行旁路存储,以保证正确的数据存储顺序。对于无序数据流,可进行并行存储,使存储设备的并发机制得到充分发挥,提高数据存储的效率,降低了对存储设备带宽的制约。

    高并发索引B+链表数据结构的设计与实现方法

    公开(公告)号:CN109407978B

    公开(公告)日:2020-07-28

    申请号:CN201811129622.9

    申请日:2018-09-27

    Applicant: 清华大学

    Abstract: 本发明公开了一种高并发索引B+链表数据结构的设计与实现方法,该方法包括:同时使用基于数组的和基于元素得到数据结构;对于数据结构的非叶子节点,采用预设的B+树数据结构,置放于DRAM中,使位于DRAM上的非叶子节点保证访问的局部性;对于数据结构的叶子节点,采用单向链表数据结构,置放于NVM中,使位于NVM上的叶子节点避免排序和平衡的开销。该方法使用基于数组的数据组织形式和基于元素的数据组织形式、链表数据结构构建索引数据结构的叶子节点、B+树数据结构构建索引数据结构的内部节点、跳表数据结构去除排序和平衡的操作,可以实现无锁并发机制和有效空间管理,并保证高效的并发访问性能和快速的系统恢复。

    一种基于持久性内存的远程数据传输方法

    公开(公告)号:CN111404931A

    公开(公告)日:2020-07-10

    申请号:CN202010177563.3

    申请日:2020-03-13

    Applicant: 清华大学

    Abstract: 本发明涉及持久性内存的远程数据传输技术领域,具体涉及一种基于持久性内存的远程数据传输方法,包括RDMA连接的客户端和配置有持久性内存的服务端,客户端向服务端发送远程数据传输请求,当接收到返回结果,提供返回消息池地址和回调函数的方式对返回结果进行操作;客户端通过负载均衡策略连接到服务端,客户端提供远程过程调用操作远端持久性内存和远程直接读写内存的数据传输方式,该远程直接读写内存支持远程持久化写内存;服务端接收远程数据传输请求并发送返回结果;服务端管理持久性内存与消息池,并支持不同服务端之间调用嵌套远程过程调用。该方法具备高效的多客户端并发远程数据操作性能、服务端可扩展能力和持久性内存友好性。

    一种分布式持久性内存事务系统的日志管理方法

    公开(公告)号:CN111400268A

    公开(公告)日:2020-07-10

    申请号:CN202010177582.6

    申请日:2020-03-13

    Applicant: 清华大学

    Abstract: 本发明涉及持久性内存存储技术领域,特别涉及一种分布式持久性内存事务系统的日志管理方法,包括主副本节点、从副本节点和协调者线程,主副本节点和从副本节点为集群中的每个协调者线程分配独立的持久性日志区;主副本节点和从副本节点向协调者线程提供写日志接口;主副本节点和从副本节点调用CPU持久化指令,并通过原子地更新日志区元数据;主副本节点执行持久性日志区的内容,并回收垃圾日志项;从副本节点通过独立的后台线程组并行地回放不同协调者线程的持久性日志区的内容,并回收垃圾日志项。该分布式持久性内存事务系统的日志管理方法,能够同时提供高效的写日志性能、多核可扩展能力以及崩溃后恢复能力。

    一种分布式持久性内存的全局地址空间管理方法

    公开(公告)号:CN111241011A

    公开(公告)日:2020-06-05

    申请号:CN201911417711.8

    申请日:2019-12-31

    Applicant: 清华大学

    Abstract: 本发明公开了一种分布式持久性内存的全局地址空间管理方法,包括:本地地址分配器发起页分配请求;全局监控器接收页分配请求,选择相应数量的从副本节点分配空闲页,从副本节点分配完成后将相应的页地址返还给全局监控器,全局监控器收到所有从副本节点返还的消息后,分配唯一的全局地址,并更新全局地址映射表,将更新后的全局地址映射表中的全局地址映射信息返回给从副本节点;从副本节点通过映射表缓存器缓存全局地址映射信息,并通过本地地址分配器管理数据页,以处理任意粒度的数据分配请求。该方法能够保证分布式持久性内存系统中全局地址空间分配时的原子性,提高全局地址分配时的性能、可靠性和扩展性,同时保证系统崩溃后的恢复能力。

    一种基于RDMA的分布式内存文件系统

    公开(公告)号:CN108268208B

    公开(公告)日:2020-01-17

    申请号:CN201611261722.8

    申请日:2016-12-30

    Applicant: 清华大学

    Abstract: 本发明公开了一种基于RDMA的分布式内存文件系统,在分布式内存文件系统初始化阶段,将集群用于文件存储的内存统一划分,并注册到网卡,以支持远端节点进行内存直接访问,进而构建分布式共享内存池;在所述分布式内存共享池之上,通过两级哈希索引分别进行文件索引及文件数据块索引,为所述文件系统提供查询服务;通过自识别远程过程调用方法处理客户端的请求,并返回处理结果。本发明具有如下优点:减少文件在读写时的数据复制、降低响应延迟,并在程序软件中提高文件访问的整体效率。

    基于闪存的存储路径优化的键值存储管理方法

    公开(公告)号:CN107678685B

    公开(公告)日:2020-01-17

    申请号:CN201710812821.9

    申请日:2017-09-11

    Applicant: 清华大学

    Abstract: 本发明提出一种基于闪存的存储路径优化的键值存储管理方法,包括:键值存储管理系统直接对裸闪存设备进行管理,绕过文件系统和闪存转换层;在进行物理空间分配时,将键值文件以闪存块为单位分布到闪存设备的不同闪存通道上,同时将键值存储文件以闪存块的整数倍进行存储;在进行数据压缩时,根据前台用户的访问特征,动态的采用相应数量的闪存通道对压缩数据进行写入;在进行数据缓存时,采用压缩感知的缓存算法,对压缩的数据不进行缓存;在进行请求调度时,优先调度用户和前台的压缩请求,根据当前闪存存储设备的可用空间,判断擦除请求调度的优先级。本发明提高了键值存储系统的性能,减少了对闪存设备的写入量,延长了设备的使用寿命。

Patent Agency Ranking