-
公开(公告)号:CN114461607A
公开(公告)日:2022-05-10
申请号:CN202210058784.8
申请日:2022-01-17
Applicant: 湖南大学
IPC: G06F16/21 , G06F16/2453 , G06F16/2455 , G06F16/25 , G06F16/27
Abstract: 本发明涉及一种基于CuckooFilter和ETL的分布式数据库优化迁移方法。其发明内容主要包括:(1)提出一种基于CuckooFilter和冷热集合的分布式数据库查询优化方法,该方法通过CuckooFilter在两表跨库等值连接查询中过滤大量无效连接键,并通过冷热集合有效删除CuckooFilter中冷数据。(2)基于ETL工具的数据迁移框架,该框架通过ETL工具Kettle搭建一套通用的单节点数据库至分布式数据库的数据迁移方法。本发明提出一种基于CuckooFilter和ETL的分布式数据库优化迁移方法,在数据量大、冷热数据更新频繁的情况下取得优越的两表跨库等值连接查询性能,并使用分布式数据库数据迁移框架提供稳定的数据过滤及迁移效率,在抄表系统数据库方面有着实际应用价值。