一种基于CuckooFilter和ETL的分布式数据库优化迁移方法

    公开(公告)号:CN114461607A

    公开(公告)日:2022-05-10

    申请号:CN202210058784.8

    申请日:2022-01-17

    Applicant: 湖南大学

    Inventor: 林亚平 黄振

    Abstract: 本发明涉及一种基于CuckooFilter和ETL的分布式数据库优化迁移方法。其发明内容主要包括:(1)提出一种基于CuckooFilter和冷热集合的分布式数据库查询优化方法,该方法通过CuckooFilter在两表跨库等值连接查询中过滤大量无效连接键,并通过冷热集合有效删除CuckooFilter中冷数据。(2)基于ETL工具的数据迁移框架,该框架通过ETL工具Kettle搭建一套通用的单节点数据库至分布式数据库的数据迁移方法。本发明提出一种基于CuckooFilter和ETL的分布式数据库优化迁移方法,在数据量大、冷热数据更新频繁的情况下取得优越的两表跨库等值连接查询性能,并使用分布式数据库数据迁移框架提供稳定的数据过滤及迁移效率,在抄表系统数据库方面有着实际应用价值。

Patent Agency Ranking