一种基于分层分配的多层数据库的布隆过滤器构造方法

    公开(公告)号:CN106874458A

    公开(公告)日:2017-06-20

    申请号:CN201710078690.6

    申请日:2017-02-14

    Abstract: 本发明公开了一种基于分层分配的多层数据库的布隆过滤器构造方法,特征是包括设计建立存储结构、计算组合概率和、求解得分配给每层布隆过滤器的位数、维护存储结构;在进行合并操作时,使处于多层键值数据库(LevelDB)的高层的每个键分配到更多的布隆过滤器比特位数,低层的键分配到较少的布隆过滤器比特位数,其中布隆过滤器的误报率随着比特位数的增多而降低。与LevelDB传统的布隆过滤器构造方法相比,在保证内存开销与之前一致的情况下,本方法可以减少因布隆过滤器的误报带来的硬盘输入输出(I/O)操作,降低硬盘的I/O次数,减少LevelDB查询操作的平均延迟;也可以在保证查询时的期望硬盘I/O次数与传统方法基本相等的情况下,减少布隆过滤器带来的内存开销。

    一种键值数据库内布隆过滤器的配置方法

    公开(公告)号:CN107729535A

    公开(公告)日:2018-02-23

    申请号:CN201711042747.3

    申请日:2017-11-17

    Abstract: 本发明公开了一种键值数据库内布隆过滤器配置方法,特征是包括布隆过滤器相关参数设置步骤,生成适应性布隆过滤器步骤,多级缓存队列初始化步骤,多级缓存队列参数调整策略设置步骤,查询策略调整步骤;本发明能够根据工作负载的特征,动态调整布隆过滤器的配置情况;本发明与传统方法相比,在进行查询操作时,对于访问频率较高的文件元数据来说,进行查询判断时,多个布隆过滤器同时进行判断,从而减少了布隆过滤器误报带来的硬盘输入/输出操作;对于访问频率较低的元数据来说,其对应的布隆过滤器个数较少,相应的内存资源占用相对于传统技术也就越低;降低了内存开销,提高了读性能,系统整体的吞吐量得到提升。

    一种键值数据库内布隆过滤器的配置方法

    公开(公告)号:CN107729535B

    公开(公告)日:2020-01-03

    申请号:CN201711042747.3

    申请日:2017-11-17

    Abstract: 本发明公开了一种键值数据库内布隆过滤器配置方法,特征是包括布隆过滤器相关参数设置步骤,生成适应性布隆过滤器步骤,多级缓存队列初始化步骤,多级缓存队列参数调整策略设置步骤,查询策略调整步骤;本发明能够根据工作负载的特征,动态调整布隆过滤器的配置情况;本发明与传统方法相比,在进行查询操作时,对于访问频率较高的文件元数据来说,进行查询判断时,多个布隆过滤器同时进行判断,从而减少了布隆过滤器误报带来的硬盘输入/输出操作;对于访问频率较低的元数据来说,其对应的布隆过滤器个数较少,相应的内存资源占用相对于传统技术也就越低;降低了内存开销,提高了读性能,系统整体的吞吐量得到提升。

    一种基于分层分配的多层数据库的布隆过滤器构造方法

    公开(公告)号:CN106874458B

    公开(公告)日:2019-10-22

    申请号:CN201710078690.6

    申请日:2017-02-14

    Abstract: 本发明公开了一种基于分层分配的多层数据库的布隆过滤器构造方法,特征是包括设计建立存储结构、计算组合概率和、求解得分配给每层布隆过滤器的位数、维护存储结构;在进行合并操作时,使处于多层键值数据库(LevelDB)的高层的每个键分配到更多的布隆过滤器比特位数,低层的键分配到较少的布隆过滤器比特位数,其中布隆过滤器的误报率随着比特位数的增多而降低。与LevelDB传统的布隆过滤器构造方法相比,在保证内存开销与之前一致的情况下,本方法可以减少因布隆过滤器的误报带来的硬盘输入输出(I/O)操作,降低硬盘的I/O次数,减少LevelDB查询操作的平均延迟;也可以在保证查询时的期望硬盘I/O次数与传统方法基本相等的情况下,减少布隆过滤器带来的内存开销。

Patent Agency Ranking