公开(公告)号：CN116594976A

公开(公告)日：2023-08-15

申请号：CN202310379525.X

申请日：2023-04-11

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 沈洋 ,  赵文霞 ,  徐璐 ,  刘襄雄 ,  霍伟波 ,  利嘉明

IPC: G06F16/182 ,  G06F16/178 ,  G06F16/23 ,  G06F16/27 ,  G06F16/28 ,  G06F11/14

Abstract: 本发明提出了一种保证分布式文件系统数据同步一致性的方法及系统。该方法包括如下步骤：响应于获取业务数据的更新周期；根据获取的业务数据的实际更新周期对数据进行二次处理；响应于定期对数据全量进行处理，以保证全部数据为最新。在基于HDFS存储+HIVE分析的离线数仓中使用，在各行各业保证业务数据一致性问题中都适用，特别针对同步的数据量规模大、数据实际更新周期短的场景；通过对大数据量的业务数据采用根据业务数据实际更新周期进行二次处理，结合定期全量处理的方式保证数据一致性，由于读源头库的数据量减少，降低了源头库的读压力。