公开(公告)号：CN110032594A

公开(公告)日：2019-07-19

申请号：CN201910218315.6

申请日：2019-03-21

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 阮崇鹤 ,  高爽 ,  朱海勇 ,  吴鸿伟 ,  周成祖 ,  鄢小征

IPC: G06F16/25

Abstract: 本发明提供了一种可定制化的多源数据库的数据抽取方法、装置及存储介质，该方法包括：获取数据抽取系统的当前时间，作为数据抽取的开始时间；从ETL的日志表中的到当前的最小FLAG作为抽取数据起始点；接收输入的数据抽取策略，所述抽取策略包括待抽取的数据源；在待抽取的数据源中从抽取数据起始点基于数据抽取策略进行数据的抽取，抽取完成后将抽取记录到日志表。本发明提出了数据抽取系统，租户向该平台提交数据抽取需求后，经管理员审批通过，所述服务服务提供商完成数据的抽取并反馈至租户，这样租户就不再需要维护独立的数据抽取系统，提高了系统性能，且数据的抽取过程可通过审批机制提高数据系统的安全性。

公开(公告)号：CN110032594B

公开(公告)日：2022-04-29

申请号：CN201910218315.6

申请日：2019-03-21

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 阮崇鹤 ,  高爽 ,  朱海勇 ,  吴鸿伟 ,  周成祖 ,  鄢小征

IPC: G06F16/25

Abstract: 本发明提供了一种可定制化的多源数据库的数据抽取方法、装置及存储介质，该方法包括：获取数据抽取系统的当前时间，作为数据抽取的开始时间；从ETL的日志表中的到当前的最小FLAG作为抽取数据起始点；接收输入的数据抽取策略，所述抽取策略包括待抽取的数据源；在待抽取的数据源中从抽取数据起始点基于数据抽取策略进行数据的抽取，抽取完成后将抽取记录到日志表。本发明提出了数据抽取系统，租户向该平台提交数据抽取需求后，经管理员审批通过，所述服务服务提供商完成数据的抽取并反馈至租户，这样租户就不再需要维护独立的数据抽取系统，提高了系统性能，且数据的抽取过程可通过审批机制提高数据系统的安全性。

公开(公告)号：CN110162571A

公开(公告)日：2019-08-23

申请号：CN201910346104.0

申请日：2019-04-26

Applicant: 厦门市美亚柏科信息股份有限公司

Inventor： 阮崇鹤 ,  高爽 ,  朱海勇 ,  吴鸿伟 ,  周成祖 ,  鄢小征

IPC: G06F16/27 ,  G06F16/25

Abstract: 本发明提供了一种异构数据库之间数据同步的系统、方法、存储介质，应用于在异构数据库之间数据同步过程，所述系统包括采集插件单元、写入插件单元和数据处理中心，多个数据库通过采集插件单元和写入插件单元与所述数据处理中心以星型方式相连接，数据处理中心包括多个同步执行节点，多个同步执行节点以分布式执行的方式进行数据同步，采用适配器适配各种异构数据库的采集和写入，采用统一的中间数据格式传输，简化了不同源端和目标端的连接，提高了数据的采集效率，具有很强的扩展性，采用统一的同步任务控制器实现同步任务的接收、分配、接收以及负载均衡，通过多通道的方式并行执行数据同步的操作，以进一步提高执行效率。