一种通用的异构数据库字段类型的映射方法及系统

    公开(公告)号:CN111625520B

    公开(公告)日:2023-06-06

    申请号:CN202010513360.7

    申请日:2020-06-08

    Inventor: 刘魁 曹亮 邓羽平

    Abstract: 本发明公开了一种通用的异构数据库字段类型的映射方法及系统,建立一个通用的数据库字段类型标准,做到各个数据库的字段类型都能映射到该字段类型标准中从而达到两个不同的数据库字段之间的转换。通过本发明通过不同类型字段建立映射,使得建立不同数据源数据集成的通用模型变得容易,能高效地采集多源数据源数据;其标准通过对多种数据库的字段类型进行分析,提取出一套较为通用的,扩展性良好的,统一的字段标准规范。这套标准适用与绝大多数数据库;拓展性强,每个数据库实现对自定义的标准数据类型映射,增加新的数据库支持实现简单,转换准确,快速,通过自定义的标准规范,实现两个数据库字段类型的转换。

    一种高效的数据采集加载方法及系统

    公开(公告)号:CN111625300B

    公开(公告)日:2023-03-24

    申请号:CN202010514096.9

    申请日:2020-06-08

    Inventor: 刘魁 曹亮 邓羽平

    Abstract: 本发明公开了一种高效的数据采集加载方法及系统,方法通过对数据的采集和加载两个步骤进行高度的集成化,用户只需要通过可视化页面选择一些必要的参数就能够实现数据采集到数据加载整个数据生命周期运行,实现从不同数据源将数据加载到GreenPlum简化了复杂的采集和加载步骤,自动化的采集和加载流程更加严格的控制了数据从初始地到目标地的安全性,提供的日志和实时监控可以更有效地对流程进行管理。本发明还提供一种高效的数据采集加载系统。通过本方案大幅度减少了用户的操作,通过自动化的方式来调度任务和监控,减少了运维的压力。

    一种基于海量数据的数据交换方法

    公开(公告)号:CN111858098A

    公开(公告)日:2020-10-30

    申请号:CN202010722793.3

    申请日:2020-07-24

    Inventor: 邓羽平 刘魁 曹亮

    Abstract: 本发明公开了一种基于海量数据的数据交换方法,集中式数据中心接收到消息请求后,获取最不经常使用的数据从节点信息;通过消息队列与最不经常使用的数据从节点进行通信,向其所在的主题队列发送消息以及对应的镜像文件;数据从节点订阅消息队列中的主题;数据从节点自动去本地镜像仓库拉取所需的算法镜像;拉取的镜像赋予数据从节点一定的计算能力,对采集的数据进行预处理;数据从节点将处理结果发送到集中式数据中心的接收主题所对应的队列;集中式数据中心从接收主题队列中获取到处理结果后,记录在本地然后直接返回给消息请求者。有效解决了集中式数据中心的数据传输压力,提高数据传输与数据分析效率及数据安全性。

    一种兼容多种数据库的系统设计方法

    公开(公告)号:CN111625227A

    公开(公告)日:2020-09-04

    申请号:CN202010513372.X

    申请日:2020-06-08

    Inventor: 曹亮 刘魁 邓羽平

    Abstract: 本发明公开了一种兼容多种数据库的系统设计方法,本发明通过融合策略模式加工厂模式并进行改进,遵守大部分GRASP原则和常用设计原则,高内聚、低偶合;解决了程序中使用多重条件转移语句,使系统更灵活,并易于扩展;去掉了代码中大量的if-else嵌套,消除了代码中的大量的重复代码,增加了代码的可读性,可重用性,可拓展性;当需要新增对数据库的支持时,无需在原本的代码中修改,只需要专注于新增数据库的支持研发,减少了代码的维护成本,完美的兼容各种关系型和非关系型数据库。

    一种基于海量数据的数据交换方法

    公开(公告)号:CN111858098B

    公开(公告)日:2023-11-17

    申请号:CN202010722793.3

    申请日:2020-07-24

    Inventor: 邓羽平 刘魁 曹亮

    Abstract: 本发明公开了一种基于海量数据的数据交换方法,集中式数据中心接收到消息请求后,获取最不经常使用的数据从节点信息;通过消息队列与最不经常使用的数据从节点进行通信,向其所在的主题队列发送消息以及对应的镜像文件;数据从节点订阅消息队列中的主题;数据从节点自动去本地镜像仓库拉取所需的算法镜像;拉取的镜像赋予数据从节点一定的计算能力,对采集的数据进行预处理;数据从节点将处理结果发送到集中式数据中心的接收主题所对应的队列;集中式数据中心从接收主题队列中获取到处理结果后,记录在本地然后直接返回给消息请求者。有效解决了集中式数据中心的数据传输压力,提高数据传输与数据分析效率及数据安全性。

    一种通用的异构数据库字段类型的映射方法及系统

    公开(公告)号:CN111625520A

    公开(公告)日:2020-09-04

    申请号:CN202010513360.7

    申请日:2020-06-08

    Inventor: 刘魁 曹亮 邓羽平

    Abstract: 本发明公开了一种通用的异构数据库字段类型的映射方法及系统,建立一个通用的数据库字段类型标准,做到各个数据库的字段类型都能映射到该字段类型标准中从而达到两个不同的数据库字段之间的转换。通过本发明通过不同类型字段建立映射,使得建立不同数据源数据集成的通用模型变得容易,能高效地采集多源数据源数据;其标准通过对多种数据库的字段类型进行分析,提取出一套较为通用的,扩展性良好的,统一的字段标准规范。这套标准适用与绝大多数数据库;拓展性强,每个数据库实现对自定义的标准数据类型映射,增加新的数据库支持实现简单,转换准确,快速,通过自定义的标准规范,实现两个数据库字段类型的转换。

    一种高效的数据采集加载方法及系统

    公开(公告)号:CN111625300A

    公开(公告)日:2020-09-04

    申请号:CN202010514096.9

    申请日:2020-06-08

    Inventor: 刘魁 曹亮 邓羽平

    Abstract: 本发明公开了一种高效的数据采集加载方法及系统,方法通过对数据的采集和加载两个步骤进行高度的集成化,用户只需要通过可视化页面选择一些必要的参数就能够实现数据采集到数据加载整个数据生命周期运行,实现从不同数据源将数据加载到GreenPlum简化了复杂的采集和加载步骤,自动化的采集和加载流程更加严格的控制了数据从初始地到目标地的安全性,提供的日志和实时监控可以更有效地对流程进行管理。本发明还提供一种高效的数据采集加载系统。通过本方案大幅度减少了用户的操作,通过自动化的方式来调度任务和监控,减少了运维的压力。

Patent Agency Ranking