公开(公告)号：CN116795816A

公开(公告)日：2023-09-22

申请号：CN202310603864.1

申请日：2023-05-26

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 霍伟波 ,  刘襄雄 ,  刘超 ,  张元兰

IPC: G06F16/21 ,  G06F16/23 ,  G06F16/25 ,  G06F16/27 ,  G06F21/62 ,  H04L67/1095 ,  H04L67/55 ,  H04L67/566

Abstract: 公开了一种基于流式处理的数仓建设方法和系统，包括对结构化或非结构化的标准数据包进行业务数据解析并还原，监控捕获数据库的变动进行解析处理，并将数据推送至数据汇聚层ODS；数据汇聚层ODS对数据进行清洗、转换、脱敏、关联形成数据明细层DWD；数据明细层DWD中的数据通过数据分发形成汇总数据层DWS，或根据业务需要将数据同步到云组件形成标准化数据查询服务；汇总数据层DWS将数据明细层DWD通过MYLink SQL的数据分发形成宽表或专题库，并π将计算后的数据输出到云组件，提供服务查询及离线计算分析。本申请的基于流式处理的数仓建设方法和系统对数据实时性要求高的场景都有很强的适应性，能快速部署，易维护的优点，大大降低企业的成本与提高适应性。