公开(公告)号：CN102981857A

公开(公告)日：2013-03-20

申请号：CN201210514328.6

申请日：2012-12-04

Applicant: 天津神舟通用数据技术有限公司

Inventor： 谢卫平 ,  冯柯 ,  蒋志勇 ,  刘碧楠 ,  李阳 ,  羊逢文 ,  李晓鹏

IPC: G06F9/44 ,  G06F17/30 ,  H04L29/08

Abstract: 本发明涉及一种数据库集群的并行压缩海量数据装载方法，其主要技术特点是：包括步骤1：建立包括数据装载工具、驱动程序和数据库集群的并行压缩海量数据装载的组件架构；步骤2、客户端通过数据装载工具和驱动程序向数据库集群发送数据装载命令，获取各个数据库节点的连接信息后，连接各个数据库并且发送需要装载的数据；数据库集群服务器给客户端提供集群各个数据库节点的连接信息以及各个表的相关信息；数据库节点接收客户端发送过来的数据并存储下来。本发明使用海量数据通信协议以及并行优化处理和压缩优化处理方法，充分利用服务器的多CPU和网络资源并融合在海量数据装载过程中，提升了数据库集群的搭建速度。