基于主机管理瓦记录磁盘的键值存储系统及数据处理方法

    公开(公告)号:CN111026329A

    公开(公告)日:2020-04-17

    申请号:CN201911125920.5

    申请日:2019-11-18

    Abstract: 本发明公开了基于主机管理瓦记录磁盘的键值存储系统及数据处理方法,属于信息存储技术领域。包括:LSM树键值存储模块,用于接收用户的请求,LSM树键值存储模块的每一层空间都是由若干个主机管理瓦记录磁盘的分区组成,每一层的数据严格分离;空间管理模块,用于连接LSM树键值存储模块和主机管理瓦记录磁盘,负责主机管理瓦记录磁盘的空间分配与回收。本发明将随机写转化为顺序写,符合瓦记录磁盘的特性,LSM树键值存储系统的每一层数据在磁盘中分离存储,由于每层的数据流动速度不同,有效降低垃圾回收的开销,磁盘空间管理采用按zone分配,空间分配与分层存储结合,使各层数据更加集中。

    一种索引结构及构建方法、键值存储系统及请求处理方法

    公开(公告)号:CN110888886A

    公开(公告)日:2020-03-17

    申请号:CN201911212016.8

    申请日:2019-11-29

    Abstract: 本发明公开了一种索引结构及构建方法、键值存储系统及请求处理方法,属于信息存储领域。设计了三层组合的树结构,包括:第三层是多个轻量级B+树结构,每棵B+树存储小范围内的所有key和对应的value地址;第二层是key有序数组,每个数组元素存储一个key、以及该key和下一个key范围内的key所对应的B+树的根节点地址;第一层是静态数组,每个数组元素存储第二层某个区间内的第一个key相对于key有序数组的起始地址的偏移地址,区间是根据第二层key的累积分布函数划分得到。索引结构的第一层加速了定位,第二层使全局key整体有序,加速定位又保证范围查找性能,第三层保证查找性能,使其既有hash的单点访问性能又有B+树的范围查找性能。

    一种索引结构及构建方法、键值存储系统及请求处理方法

    公开(公告)号:CN110888886B

    公开(公告)日:2022-11-11

    申请号:CN201911212016.8

    申请日:2019-11-29

    Abstract: 本发明公开了一种索引结构及构建方法、键值存储系统及请求处理方法,属于信息存储领域。设计了三层组合的树结构,包括:第三层是多个轻量级B+树结构,每棵B+树存储小范围内的所有key和对应的value地址;第二层是key有序数组,每个数组元素存储一个key、以及该key和下一个key范围内的key所对应的B+树的根节点地址;第一层是静态数组,每个数组元素存储第二层某个区间内的第一个key相对于key有序数组的起始地址的偏移地址,区间是根据第二层key的累积分布函数划分得到。索引结构的第一层加速了定位,第二层使全局key整体有序,加速定位又保证范围查找性能,第三层保证查找性能,使其既有hash的单点访问性能又有B+树的范围查找性能。

    基于SCM与SSD的键值存储系统及读写请求处理方法

    公开(公告)号:CN110968269A

    公开(公告)日:2020-04-07

    申请号:CN201911125952.5

    申请日:2019-11-18

    Abstract: 本发明公开了涉及基于SCM与SSD的键值存储系统及读写请求处理方法,属于信息存储技术领域。包括:该系统在写入一个键值对时,将value的元数据及key存储到SCM中,并以哈希的方式进行组织,value以日志方式存储到SSD中。本发明结合SCM与SSD的特点,采用混合存储的方式进行存储,将键值对中key以及其他与value相关的源信息存储到SCM中,将value的实际值存储到SSD中。键值存储系统总体采用了半同步半异步式I/O模型,并结合多线程技术,通过上层异步提交请求,下层同步处理请求的方式,使系统能够并发地处理请求,以提升系统的处理效率。对于SSD,本发明提出了逻辑空间放大的策略,将逻辑空间放大到物理空间的数倍,通过重映射以达到减少有效数据迁移的目的。

    一种基于日志合并树结构的轻量级合并方法

    公开(公告)号:CN106682184B

    公开(公告)日:2019-12-20

    申请号:CN201611246968.8

    申请日:2016-12-29

    Abstract: 本发明公开了一种基于日志合并树结构的轻量级合并方法,本发明方法在日志合并树结构中使用了大小动态变化的有序键值对表,同时将下层有序键值对表的元数据存储在键值范围重叠的上层有序键值对表中;根据日志合并树中各个有序键值对表层的均衡程度,选取相应的有序键值对表作为合并对象;合并选取的有序键值对表中的元数据,并将合并后的元数据以及相应的键值对数据以追加的方式写入键值范围重叠的下层有序键值对表;调整有序键值对表的键值范围使同层次的有序键值对表负载达到均衡状态;使用分段二分法查找方式,对键值对数据进行快速高效查找。本方法可以降低日志合并树的合并操作开销,减少写放大,提升日志合并树结构的性能。

    一种基于段结构的瓦记录转换层的读写方法

    公开(公告)号:CN105955664A

    公开(公告)日:2016-09-21

    申请号:CN201610279310.0

    申请日:2016-04-29

    Abstract: 本发明公开了一种基于段结构的瓦记录转换层的读写方法,将瓦记录磁盘直接应用到现有的存储系统中,基于段结构的瓦记录转换层进行读写处理;对于地址映射表,采用段内动态块映射的方法,有效的减少了瓦记录磁盘的写放大倍数,提高了磁盘性能;同时,SSTL使用了一种基于最近最久未被访问段的写缓存替换算法来管理瓦记录磁盘中的非易失性缓存NVRAM;本发明提供的这种基于段结构的瓦记录转换层的读写方法,有效的减少了数据写入操作和段整理操作的次数,降低了瓦记录磁盘的写放大倍数,显著的提高了瓦记录磁盘的性能。

    基于主机管理瓦记录磁盘的键值存储系统及数据处理方法

    公开(公告)号:CN111026329B

    公开(公告)日:2021-04-20

    申请号:CN201911125920.5

    申请日:2019-11-18

    Abstract: 本发明公开了基于主机管理瓦记录磁盘的键值存储系统及数据处理方法,属于信息存储技术领域。包括:LSM树键值存储模块,用于接收用户的请求,LSM树键值存储模块的每一层空间都是由若干个主机管理瓦记录磁盘的分区组成,每一层的数据严格分离;空间管理模块,用于连接LSM树键值存储模块和主机管理瓦记录磁盘,负责主机管理瓦记录磁盘的空间分配与回收。本发明将随机写转化为顺序写,符合瓦记录磁盘的特性,LSM树键值存储系统的每一层数据在磁盘中分离存储,由于每层的数据流动速度不同,有效降低垃圾回收的开销,磁盘空间管理采用按zone分配,空间分配与分层存储结合,使各层数据更加集中。

    一种数据存储方法及装置

    公开(公告)号:CN108804019B

    公开(公告)日:2020-07-07

    申请号:CN201710289023.2

    申请日:2017-04-27

    Abstract: 一种数据存储方法及装置,用以解决将瓦记录技术与LSM树技术结合应用时导致多重的读写放大,降低存储系统性能的问题。所述数据存储方法包括:从瓦记录SMR磁盘上确定能够存储目标排序字符串表SSTable组的目标磁轨带band;其中,目标SSTable组存储于日志结构合并LSM树中,所述LSM树包括至少两层,每一层包括至少一个SSTable,每一层中的键值范围位于上一层中一个SSTable的键值范围内的至少两个SSTable为一个SSTable组;在所述目标band内存储所述目标SSTable组。

    一种数据存储方法及装置

    公开(公告)号:CN108804019A

    公开(公告)日:2018-11-13

    申请号:CN201710289023.2

    申请日:2017-04-27

    Abstract: 一种数据存储方法及装置,用以解决将瓦记录技术与LSM树技术结合应用时导致多重的读写放大,降低存储系统性能的问题。所述数据存储方法包括:从瓦记录SMR磁盘上确定能够存储目标排序字符串表SSTable组的目标磁轨带band;其中,目标SSTable组存储于日志结构合并LSM树中,所述LSM树包括至少两层,每一层包括至少一个SSTable,每一层中的键值范围位于上一层中一个SSTable的键值范围内的至少两个SSTable为一个SSTable组;在所述目标band内存储所述目标SSTable组。

    一种基于段结构的瓦记录转换层的读写方法

    公开(公告)号:CN105955664B

    公开(公告)日:2018-11-02

    申请号:CN201610279310.0

    申请日:2016-04-29

    Abstract: 本发明公开了一种基于段结构的瓦记录转换层的读写方法,将瓦记录磁盘直接应用到现有的存储系统中,基于段结构的瓦记录转换层进行读写处理;对于地址映射表,采用段内动态块映射的方法,有效的减少了瓦记录磁盘的写放大倍数,提高了磁盘性能;同时,SSTL使用了一种基于最近最久未被访问段的写缓存替换算法来管理瓦记录磁盘中的非易失性缓存NVRAM;本发明提供的这种基于段结构的瓦记录转换层的读写方法,有效的减少了数据写入操作和段整理操作的次数,降低了瓦记录磁盘的写放大倍数,显著的提高了瓦记录磁盘的性能。

Patent Agency Ranking