-
公开(公告)号:CN117851383A
公开(公告)日:2024-04-09
申请号:CN202311750563.8
申请日:2023-12-19
Applicant: 航天信息股份有限公司
Abstract: 本申请实施例公开了一种数据迁移方法和系统,属于互联网技术领域,所述方法包括:搜索服务器集群将业务端存入的实时数据发送至消息中间件集群;Hadoop集群中的第一预设工具从所述消息中间件集群获取实时数据,写入数据库中;Hadoop集群通过第二预设工具从所述搜索服务器集群中获取预设周期前的历史数据,存入第一数据表中;按照所述预设周期从所述数据库中查询目标数据存储至第二数据表中;依据所述第一数据表、所述第二数据表确定增量数据,并将所述增量数据添加至所述第一数据表中。本申请提供的数据迁移方案,能够对快速地完成搜索服务器集群至Hadoop集群的百亿级数据的迁移、更新。