-
公开(公告)号:CN114546662A
公开(公告)日:2022-05-27
申请号:CN202210194862.7
申请日:2022-03-01
Applicant: 浙江大学
Abstract: 本发明提供了一种基于日志结构的持久性内存的内存块元数据管理方法及装置,本发明将持久性内存的内存块元数据存入DRAM中,并将内存块元数据的核心数据根据内存块的状态更新以日志条目的形式追加写入到持久性内存的日志文件中;所述日志文件中划分成多个日志组存储日志条目。同时在DRAM中保存日志组元数据,所述日志组元数据为指明日志组分配情况的位图bitmap,通过红黑树对已分配的日志组元数据进行管理,并将被释放的日志组元数据通过链表进行管理。本发明通过修改元数据的布局模式,使得持久性内存元数据的分布更具有局部性,减少小规模数据的随机写入,提高持久性内存的分配性能。
-
公开(公告)号:CN114546662B
公开(公告)日:2025-04-01
申请号:CN202210194862.7
申请日:2022-03-01
Applicant: 浙江大学
Abstract: 本发明提供了一种基于日志结构的持久性内存的内存块元数据管理方法及装置,本发明将持久性内存的内存块元数据存入DRAM中,并将内存块元数据的核心数据根据内存块的状态更新以日志条目的形式追加写入到持久性内存的日志文件中;所述日志文件中划分成多个日志组存储日志条目。同时在DRAM中保存日志组元数据,所述日志组元数据为指明日志组分配情况的位图bitmap,通过红黑树对已分配的日志组元数据进行管理,并将被释放的日志组元数据通过链表进行管理。本发明通过修改元数据的布局模式,使得持久性内存元数据的分布更具有局部性,减少小规模数据的随机写入,提高持久性内存的分配性能。
-
公开(公告)号:CN115310605A
公开(公告)日:2022-11-08
申请号:CN202210876872.9
申请日:2022-07-25
Applicant: 浙江大学
Abstract: 本发明提供了一种基于非易失性内存的推荐系统网络高效训练方法及系统,本发明高效利用了非易失性内存的带宽、延迟特性以及非易失特性,最优化推荐系统网络的训练性能。该方法具体为:面向动态内存(DRAM)、非易失性内存(NVM)混合存储架构,利用推荐系统网络中Embedding数据的冷热特性,将数据进行智能摆放,增加数据的访问效率,提高训练的性能;其次,利用非易失特性,设计新型训练模式以及检查点模式,利用双版本持久化技术与增量、并行优化技术,进一步提升系统性能,降低NVM寿命的损耗。
-
公开(公告)号:CN114510439A
公开(公告)日:2022-05-17
申请号:CN202210101732.4
申请日:2022-01-27
Applicant: 浙江大学
Abstract: 本发明提供了一种基于持久性内存的内存分配器元数据交替映射方法及系统,本发明通过对可分配内存区域元数据采用多个子位图进行存储,每个子位图的大小大于等于缓存行的大小,采用交替存放的方式将连续内存块的比特位依次存放到不同的子位图中,使内存分配器在分配连续内存块时,连续内存块的比特位会被映射到不同缓存行中。对线程私有缓存元数据采用多个子缓存进行存储,子缓存的数量等于子位图的数量,每个子缓存仅存储位于同一子位图的内存块的比特位,且所有子缓存具有访问顺序。通过修改元数据的布局模式,使得连续内存分配对bitmap的修改尽可能落在不同的缓存行内,从而避免缓存行重复刷新的问题,提高对持久性内存分配的性能。
-
公开(公告)号:CN114510439B
公开(公告)日:2024-11-08
申请号:CN202210101732.4
申请日:2022-01-27
Applicant: 浙江大学
Abstract: 本发明提供了一种基于持久性内存的内存分配器元数据交替映射方法及系统,本发明通过对可分配内存区域元数据采用多个子位图进行存储,每个子位图的大小大于等于缓存行的大小,采用交替存放的方式将连续内存块的比特位依次存放到不同的子位图中,使内存分配器在分配连续内存块时,连续内存块的比特位会被映射到不同缓存行中。对线程私有缓存元数据采用多个子缓存进行存储,子缓存的数量等于子位图的数量,每个子缓存仅存储位于同一子位图的内存块的比特位,且所有子缓存具有访问顺序。通过修改元数据的布局模式,使得连续内存分配对bitmap的修改尽可能落在不同的缓存行内,从而避免缓存行重复刷新的问题,提高对持久性内存分配的性能。
-
公开(公告)号:CN118244981A
公开(公告)日:2024-06-25
申请号:CN202410278258.1
申请日:2024-03-12
Applicant: 浙江大学
IPC: G06F3/06
Abstract: 本发明提出一种基于持久性内存的键值对存储系统及方法,本发明系统包括DRAM、PM、键值对写入单元、写前日志清理回收单元四部分,其中在DRAM中设置若干缓冲结点和索引层;在PM中设置数据存储区和写前日志存储区;所述缓冲结点用于汇聚写入数据,在缓冲结点满时再进行持久化写入至PM中的数据存储区;所述PM中的写前日志存储区维护一个写前日志,用于保证系统的崩溃一致性。键值对写入单元用于执行键值对写入操作,在DRAM缓冲结点中汇聚写入数据,在缓冲区满时进行持久化写入;本发明通过选择性的写日志技术以及局部感知的日志回收技术来减少写前日志带来的PM写入次数,从而提高系统插入性能。
-
公开(公告)号:CN114546661A
公开(公告)日:2022-05-27
申请号:CN202210193860.6
申请日:2022-03-01
Applicant: 浙江大学
IPC: G06F9/50
Abstract: 本发明提供了一种基于内存变换的动态内存分配方法,该方法通过修改内存块未完全分配的内存区域的元数据,使其可以服务于新的内存分配请求大小,包括:记录未变换时内存区域的内存块大小、第一个内存块的起始地址、已分配内存块数量及内存块分配情况;根据新的内存分配请求大小,设置并记录变换后内存区域的内存块大小、第一个内存块的起始地址;根据当前变换前后内存块的对应关系,记录变换后内存块中变换前已分配内存块数量,并记录当前所有的内存块分配情况;根据内存释放情况实时更新当前所有的内存块分配情况,本发明通过内存变换,使得slab可以根据需要服务于不同大小的内存分配请求,从而减少空闲slab的数量,减少内存碎片,提高内存的利用率。
-
-
-
-
-
-