公开(公告)号：CN106648934B

公开(公告)日：2019-12-03

申请号：CN201611228895.X

申请日：2016-12-27

Applicant: 中国科学院计算技术研究所 ,  中科天玑数据科技股份有限公司

Inventor： 程学旗 ,  欧陈庚 ,  郑天祺 ,  张敬亮 ,  靳小龙

IPC: G06F9/54 ,  G06F16/21

Abstract: 本发明公开了一种Impala与HBase之间的高效数据传输方法及系统。该方法包括：步骤1，将Impala发出的查询语句编译为查询指令，该查询指令的数量与HBase的Region的数量相同；步骤2，每个该查询指令对应查询该HBase的一个Region，所有该查询指令并行对该HBase进行查询，所获得的查询结果并行传输至一缓冲区；步骤3，以socket的方式，将该缓冲区中存储的数据传输至Impala。本发明具有较高的传输性能，且通过采用以socket传输二进制数据的方式，使得本发明在数据传输层，没有序列化以及反序列化的开销，不存在性能瓶颈，使得传输性能比JNI的传输方式更加高效。

公开(公告)号：CN106648934A

公开(公告)日：2017-05-10

申请号：CN201611228895.X

申请日：2016-12-27

Applicant: 中科天玑数据科技股份有限公司

Inventor： 张敬亮

IPC: G06F9/54 ,  G06F17/30

Abstract: 本发明公开了一种Impala与HBase之间的高效数据传输方法及系统。该方法包括：步骤1，将Impala发出的查询语句编译为查询指令，该查询指令的数量与HBase的Region的数量相同；步骤2，每个该查询指令对应查询该HBase的一个Region，所有该查询指令并行对该HBase进行查询，所获得的查询结果并行传输至一缓冲区；步骤3，以socket的方式，将该缓冲区中存储的数据传输至Impala。本发明具有较高的传输性能，且通过采用以socket传输二进制数据的方式，使得本发明在数据传输层，没有序列化以及反序列化的开销，不存在性能瓶颈，使得传输性能比JNI的传输方式更加高效。