公开(公告)号：CN112667747A

公开(公告)日：2021-04-16

申请号：CN202011634276.7

申请日：2020-12-31

Applicant: 北京赛思信安技术股份有限公司

Inventor： 谢铭 ,  郑佳星 ,  蒲路

IPC: G06F16/27 ,  G06F16/28 ,  G06F16/23 ,  G06F9/445

Abstract: 本发明是一种支持自定义插件的动态配置多数据库分布式持久化方法，对多数据库引擎的海量数据存储提供自动化、可配置、统一化的高效数据接入。本发明方法包括：搭建包含多种存储引擎、配置生成工具loadtool、数据持久化工具Pasca、Zookeeper和Kafka集群的数据平台；loadtool实现自动化配置，上传配置文件到Zookeeper；Pasca监控Zookeeper以动态更新配置；将接入的实时数据或离线数据发往Kafka集群，Pasca启动数据持久化通道，对接入的数据持久化。本发明具有自动化、动态配置、统一化优点，能方便的简单、灵活、高效的持久化数据，充分利用大数据集群的存储和计算资源。

公开(公告)号：CN112667747B

公开(公告)日：2021-09-21

申请号：CN202011634276.7

申请日：2020-12-31

Applicant: 北京赛思信安技术股份有限公司

Inventor： 谢铭 ,  郑佳星 ,  蒲路

IPC: G06F16/27 ,  G06F16/28 ,  G06F16/23 ,  G06F9/445

Abstract: 本发明是一种支持自定义插件的动态配置多数据库分布式持久化方法，对多数据库引擎的海量数据存储提供自动化、可配置、统一化的高效数据接入。本发明方法包括：搭建包含多种存储引擎、配置生成工具loadtool、数据持久化工具Pasca、Zookeeper和Kafka集群的数据平台；loadtool实现自动化配置，上传配置文件到Zookeeper；Pasca监控Zookeeper以动态更新配置；将接入的实时数据或离线数据发往Kafka集群，Pasca启动数据持久化通道，对接入的数据持久化。本发明具有自动化、动态配置、统一化优点，能方便的简单、灵活、高效的持久化数据，充分利用大数据集群的存储和计算资源。