一种非倾入式方式数据的采集及同步方法、系统及设备

    公开(公告)号:CN118170843A

    公开(公告)日:2024-06-11

    申请号:CN202410278074.5

    申请日:2024-03-12

    Inventor: 张归祥

    Abstract: 本发明公开一种非倾入式方式数据的采集及同步方法、系统及设备,涉及数据采集同步领域,该方法包括利用Debezium插件获取多类型数据库的数据库日志;根据多类型数据库注册Debezium采集连接器;利用相应的Debezium采集连接器和将数据库日志以json形式暂存在Kafka消息队列当中;利用Kettle将采集到的json形式的数据同步至MongoDB中。本发明能够降低对数据库端负载。

Patent Agency Ranking