-
公开(公告)号:CN105808746A
公开(公告)日:2016-07-27
申请号:CN201610141867.8
申请日:2016-03-14
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
CPC classification number: G06F16/284 , G06F16/258
Abstract: 本发明提出基于Hadoop体系的关系型大数据无缝接入方法及系统,该方法包括将获取所述Hadoop体系中的查询语句及元数据信息,并将所述查询语句转换成查询块,根据所述查询块与所述元数据信息生成处理算子树,解析输入的外部的数据源操控、查询语句,生成抽象语法树;将Sqoop算子添加到所述处理算子树中,当所述抽象语法树识别到关键字KW_SQOOP时表示出现外部数据源,识别出所述抽象语法树中所述外部数据源的实例名、外部数据库名和表名,将所述实例名、所述外部数据库名和所述表名存在SQOOP算子当中;通过流水线的方式合并导入导出的MapReduce任务与查询的MapReduce任务;根据所述处理算子树中各节点的shuffle key及父节点与子节点之间的关系,进行任务合并。