公开(公告)号：CN105808746A

公开(公告)日：2016-07-27

申请号：CN201610141867.8

申请日：2016-03-14

Applicant: 中国科学院计算技术研究所

Inventor： 向小佳 ,  赵晓芳 ,  杨訸 ,  刘洋

IPC: G06F17/30

CPC classification number: G06F16/284 ,  G06F16/258

Abstract: 本发明提出基于Hadoop体系的关系型大数据无缝接入方法及系统，该方法包括将获取所述Hadoop体系中的查询语句及元数据信息，并将所述查询语句转换成查询块，根据所述查询块与所述元数据信息生成处理算子树，解析输入的外部的数据源操控、查询语句，生成抽象语法树；将Sqoop算子添加到所述处理算子树中，当所述抽象语法树识别到关键字KW_SQOOP时表示出现外部数据源，识别出所述抽象语法树中所述外部数据源的实例名、外部数据库名和表名，将所述实例名、所述外部数据库名和所述表名存在SQOOP算子当中；通过流水线的方式合并导入导出的MapReduce任务与查询的MapReduce任务；根据所述处理算子树中各节点的shuffle key及父节点与子节点之间的关系，进行任务合并。