公开(公告)号：CN116431734A

公开(公告)日：2023-07-14

申请号：CN202310688859.5

申请日：2023-06-12

Applicant: 成都信息工程大学

Inventor： 魏培阳 ,  周杰三 ,  舒红平 ,  刘魁 ,  曹亮

IPC: G06F16/27 ,  G06F16/28 ,  G06F16/22 ,  G06F16/2458

Abstract: 本发明提供了一种es数据实时同步方法、系统及存储介质，其方法包括如下：S1.配置mysql集群环境；S2.使用logstash连接mysql和es集群，将mysql中原有的数据全量同步到es中；S3.配置canal环境；S4.使用java编写canal客户端，获取增量数据信息；S5.配置kafka环境，并使用canal客户端将增量数据信息推送给kafka；S6.使用Kafka连接es集群，将增量数据以http请求的方式发送给es端口进行数据同步；S7.使用es接收请求，将增量数据同步到指定索引中。本发明使用canal做增量数据同步，克服了使用logstash做增量数据同步所带来的缺陷。