业务行为感知的对象存储元数据分级存储方法与系统

    公开(公告)号:CN116661685A

    公开(公告)日:2023-08-29

    申请号:CN202310564128.X

    申请日:2023-05-18

    Applicant: 清华大学

    Abstract: 本发明涉及分布式存储技术领域,特别涉及业务行为感知的对象存储元数据分级存储方法与系统。本发明提出了一种既不影响性能,又不需要将所有的元数据都放置于SSD中的方法。该方法首先对业务访问数据和元数据的行为进行统计,然后根据元数据访问的频繁度以及元数据和数据访问的亲和度对元数据进行分类,将访问不频繁、和数据访问亲和度高的元数据与数据一起打包存储到冷数据池,而将其他元数据放置于热数据池。实践结果表明,在不影响对象读写性能的前提下,元数据的SSD空间使用量最高可降低94%。本发明提出业务行为感知的元数据分级系统,在不降低性能的前提下,降低了元数据对高速介质的使用量,降低了对象存储系统的元数据储存成本。

    异步写回持久化内存的事务持久化方法及系统

    公开(公告)号:CN113220490B

    公开(公告)日:2024-11-26

    申请号:CN202110605179.3

    申请日:2021-05-31

    Applicant: 清华大学

    Abstract: 本发明公开了一种内存事务持久化方法及其基于此方法构建的持久化事务内存系统,主要涉及系统软件技术领域。该方法的主要特征是在事务提交阶段,构建并持久化日志,在易失型存储器上更新数据。持久化内存上的数据更新由专门线程周期性执行。该线程通过位图机制确定易失型存储器和持久化内存中可能处于不一致状态的缓存块,调用写回原语同步数据,并回收不再需要的日志条目空间。因为持久化内存的读写粒度和写回粒度不同,且实际负载具有空间局部性,故上述方法可有效减少所需的写回原语次数,并提高事务处理效率。对比现有系统,基于此方法实现的系统相对同类实现可显著缩短事务执行时间,同时具有可扩展性。

    非易失性内存检查点生成方法、装置和电子设备

    公开(公告)号:CN113515412A

    公开(公告)日:2021-10-19

    申请号:CN202110712594.9

    申请日:2021-06-25

    Applicant: 清华大学

    Abstract: 本申请实施例中提供了一种非易失性内存检查点生成方法、装置和电子设备,所述方法包括:应用程序编译时,通过编译器插桩插件在应用程序中插入桩例程调用指令,并生成可执行应用程序;在运行可执行应用程序时,根据调用的桩例程获取当前纪元产生的脏内存块;在调用检查点函数时,根据当前纪元的序号,将上一个纪元及当前纪元产生的脏内存块写入非易失性内存的主区域或者副区域中,以在非易失性内存中生成检查点。本申请通过插入桩例程的机制能够对页面中被修改的内存区域进行定位,获得脏内存块,并将脏内存块写入到非易失性内存中,减少了写入非易失性内存的检查点的数据量,降低了检查点生成和运行时的开销,同时也能缩短检查点的生成时间。

    改善RDMA单边操作可扩展性的自适应优化方法及系统

    公开(公告)号:CN116185603A

    公开(公告)日:2023-05-30

    申请号:CN202211569801.0

    申请日:2022-12-07

    Applicant: 清华大学

    Abstract: 本发明涉及系统软件技术领域,特别涉及一种改善RDMA单边操作可扩展性问题的自适应优化方法及系统。本发明主要技术方案是:初始化线程期间,按照线程感知的方式分配RDMA资源,确保发送RDMA请求的数据通路不会发生线程间锁同步;通过信用点机制限制发送队列深度,从而防止缓存抖动;通过自适应方式调节最大发送队列深度,而不需要提前训练和/或标识负载特征。对比现有系统,本发明所公开的自适应优化方法可避免线程/协程数量提升时出现性能下降,同时还能通过提高网卡链路的利用率以最大化消息处理性能。

    异步写回持久化内存的事务持久化方法及系统

    公开(公告)号:CN113220490A

    公开(公告)日:2021-08-06

    申请号:CN202110605179.3

    申请日:2021-05-31

    Applicant: 清华大学

    Abstract: 本发明公开了一种内存事务持久化方法及其基于此方法构建的持久化事务内存系统,主要涉及系统软件技术领域。该方法的主要特征是在事务提交阶段,构建并持久化日志,在易失型存储器上更新数据。持久化内存上的数据更新由专门线程周期性执行。该线程通过位图机制确定易失型存储器和持久化内存中可能处于不一致状态的缓存块,调用写回原语同步数据,并回收不再需要的日志条目空间。因为持久化内存的读写粒度和写回粒度不同,且实际负载具有空间局部性,故上述方法可有效减少所需的写回原语次数,并提高事务处理效率。对比现有系统,基于此方法实现的系统相对同类实现可显著缩短事务执行时间,同时具有可扩展性。

    非易失性内存检查点生成方法、装置和电子设备

    公开(公告)号:CN113515412B

    公开(公告)日:2024-04-12

    申请号:CN202110712594.9

    申请日:2021-06-25

    Applicant: 清华大学

    Abstract: 本申请实施例中提供了一种非易失性内存检查点生成方法、装置和电子设备,所述方法包括:应用程序编译时,通过编译器插桩插件在应用程序中插入桩例程调用指令,并生成可执行应用程序;在运行可执行应用程序时,根据调用的桩例程获取当前纪元产生的脏内存块;在调用检查点函数时,根据当前纪元的序号,将上一个纪元及当前纪元产生的脏内存块写入非易失性内存的主区域或者副区域中,以在非易失性内存中生成检查点。本申请通过插入桩例程的机制能够对页面中被修改的内存区域进行定位,获得脏内存块,并将脏内存块写入到非易失性内存中,减少了写入非易失性内存的检查点的数据量,降低了检查点生成和运行时的开销,同时也能缩短检查点的生成时间。

Patent Agency Ranking