基于主机管理瓦记录磁盘的键值存储系统及数据处理方法

    公开(公告)号:CN111026329B

    公开(公告)日:2021-04-20

    申请号:CN201911125920.5

    申请日:2019-11-18

    Abstract: 本发明公开了基于主机管理瓦记录磁盘的键值存储系统及数据处理方法,属于信息存储技术领域。包括:LSM树键值存储模块,用于接收用户的请求,LSM树键值存储模块的每一层空间都是由若干个主机管理瓦记录磁盘的分区组成,每一层的数据严格分离;空间管理模块,用于连接LSM树键值存储模块和主机管理瓦记录磁盘,负责主机管理瓦记录磁盘的空间分配与回收。本发明将随机写转化为顺序写,符合瓦记录磁盘的特性,LSM树键值存储系统的每一层数据在磁盘中分离存储,由于每层的数据流动速度不同,有效降低垃圾回收的开销,磁盘空间管理采用按zone分配,空间分配与分层存储结合,使各层数据更加集中。

    一种索引结构及构建方法、键值存储系统及请求处理方法

    公开(公告)号:CN110888886B

    公开(公告)日:2022-11-11

    申请号:CN201911212016.8

    申请日:2019-11-29

    Abstract: 本发明公开了一种索引结构及构建方法、键值存储系统及请求处理方法,属于信息存储领域。设计了三层组合的树结构,包括:第三层是多个轻量级B+树结构,每棵B+树存储小范围内的所有key和对应的value地址;第二层是key有序数组,每个数组元素存储一个key、以及该key和下一个key范围内的key所对应的B+树的根节点地址;第一层是静态数组,每个数组元素存储第二层某个区间内的第一个key相对于key有序数组的起始地址的偏移地址,区间是根据第二层key的累积分布函数划分得到。索引结构的第一层加速了定位,第二层使全局key整体有序,加速定位又保证范围查找性能,第三层保证查找性能,使其既有hash的单点访问性能又有B+树的范围查找性能。

    基于SCM与SSD的键值存储系统及读写请求处理方法

    公开(公告)号:CN110968269A

    公开(公告)日:2020-04-07

    申请号:CN201911125952.5

    申请日:2019-11-18

    Abstract: 本发明公开了涉及基于SCM与SSD的键值存储系统及读写请求处理方法,属于信息存储技术领域。包括:该系统在写入一个键值对时,将value的元数据及key存储到SCM中,并以哈希的方式进行组织,value以日志方式存储到SSD中。本发明结合SCM与SSD的特点,采用混合存储的方式进行存储,将键值对中key以及其他与value相关的源信息存储到SCM中,将value的实际值存储到SSD中。键值存储系统总体采用了半同步半异步式I/O模型,并结合多线程技术,通过上层异步提交请求,下层同步处理请求的方式,使系统能够并发地处理请求,以提升系统的处理效率。对于SSD,本发明提出了逻辑空间放大的策略,将逻辑空间放大到物理空间的数倍,通过重映射以达到减少有效数据迁移的目的。

    基于主机管理瓦记录磁盘的键值存储系统及数据处理方法

    公开(公告)号:CN111026329A

    公开(公告)日:2020-04-17

    申请号:CN201911125920.5

    申请日:2019-11-18

    Abstract: 本发明公开了基于主机管理瓦记录磁盘的键值存储系统及数据处理方法,属于信息存储技术领域。包括:LSM树键值存储模块,用于接收用户的请求,LSM树键值存储模块的每一层空间都是由若干个主机管理瓦记录磁盘的分区组成,每一层的数据严格分离;空间管理模块,用于连接LSM树键值存储模块和主机管理瓦记录磁盘,负责主机管理瓦记录磁盘的空间分配与回收。本发明将随机写转化为顺序写,符合瓦记录磁盘的特性,LSM树键值存储系统的每一层数据在磁盘中分离存储,由于每层的数据流动速度不同,有效降低垃圾回收的开销,磁盘空间管理采用按zone分配,空间分配与分层存储结合,使各层数据更加集中。

    一种索引结构及构建方法、键值存储系统及请求处理方法

    公开(公告)号:CN110888886A

    公开(公告)日:2020-03-17

    申请号:CN201911212016.8

    申请日:2019-11-29

    Abstract: 本发明公开了一种索引结构及构建方法、键值存储系统及请求处理方法,属于信息存储领域。设计了三层组合的树结构,包括:第三层是多个轻量级B+树结构,每棵B+树存储小范围内的所有key和对应的value地址;第二层是key有序数组,每个数组元素存储一个key、以及该key和下一个key范围内的key所对应的B+树的根节点地址;第一层是静态数组,每个数组元素存储第二层某个区间内的第一个key相对于key有序数组的起始地址的偏移地址,区间是根据第二层key的累积分布函数划分得到。索引结构的第一层加速了定位,第二层使全局key整体有序,加速定位又保证范围查找性能,第三层保证查找性能,使其既有hash的单点访问性能又有B+树的范围查找性能。

Patent Agency Ranking