基于模型转换由midcore生成Spark和Hadoop程序代码的方法

    公开(公告)号:CN108153522B

    公开(公告)日:2020-05-05

    申请号:CN201711418644.2

    申请日:2017-12-25

    Applicant: 南京大学

    Abstract: 本发明公开了一种由模型转换中间语言midcore生成Spark和Hadoop程序代码的方法。包括步骤1:建立两个xtext项目,分别对midcore语言进行抽象,抽出其中的语法树,进行建模,书写xtext的语法计解析器代码,步骤2:用xtend在其中一个项目中书写从midcore映射至Spark代码的转换规则,步骤3:用xtend在另一个项目中书写midcore映射生成Hadoop代码的转换规则。本发明将可以由现有的模型转换语言转换而成的中间语言对Spark和Hadoop两个平台的代码做了映射,为模型转换语言和Mapreduce程序实现了桥接,同时支持由midcore直接描述模型转换,生成Mapreduce程序代码,降低了Mapreduce程序开发的复杂性。

    一种基于模型转换由QVT‑R语言生成midCore脚本的方法

    公开(公告)号:CN106951305A

    公开(公告)日:2017-07-14

    申请号:CN201710180952.X

    申请日:2017-03-24

    Applicant: 南京大学

    Abstract: 本发明基于模型转换由QVT‑R代码生成midCore脚本的方法,步骤1对QVT‑R语言进行设计和裁剪;步骤2获取符合步骤1规则面向数据转换的QVT‑R代码;步骤3通过Xtext为QVT‑R语言建模,构建编辑器、解析器及语法分析树;步骤4利用Xtend根据步骤3匹配得到的语法分析树,解析QVT‑R代码语义,并生成对应的midCore语句;步骤5将步骤2获得的QVT‑R代码作为输入,转换引擎生成midCore脚本。本发明将描述数据转换的QVT‑R代码自动转换成midCore脚本,降低了使用midCore程序成本,减少了编写midCore代码缺陷,更直观描述数据变换逻辑,降低大数据处理难度和成本。

    一种基于模型转换由QVT-R语言生成midCore脚本的方法

    公开(公告)号:CN106951305B

    公开(公告)日:2020-07-31

    申请号:CN201710180952.X

    申请日:2017-03-24

    Applicant: 南京大学

    Abstract: 本发明基于模型转换由QVT‑R代码生成midCore脚本的方法,步骤1对QVT‑R语言进行设计和裁剪;步骤2获取符合步骤1规则面向数据转换的QVT‑R代码;步骤3通过Xtext为QVT‑R语言建模,构建编辑器、解析器及语法分析树;步骤4利用Xtend根据步骤3匹配得到的语法分析树,解析QVT‑R代码语义,并生成对应的midCore语句;步骤5将步骤2获得的QVT‑R代码作为输入,转换引擎生成midCore脚本。本发明将描述数据转换的QVT‑R代码自动转换成midCore脚本,降低了使用midCore程序成本,减少了编写midCore代码缺陷,更直观描述数据变换逻辑,降低大数据处理难度和成本。

    一种由转换原语生成Spark代码的方法

    公开(公告)号:CN106843858B

    公开(公告)日:2020-06-09

    申请号:CN201611252903.4

    申请日:2016-12-30

    Applicant: 南京大学

    Abstract: 本发明公开了一种由转换原语生成Spark代码的方法,包括步骤:步骤10:设计表示数据模型变换的转换原语语法;步骤11:输入一个数据模型变换的原语文件,作为代码转换器的输入文件;步骤12:利用Xtext实现代码生成器的文法构造,完成转换原语的语法解析;步骤13:利用Xtend实现代码生成器的转换规则,建立转换原语与Spark代码之间的映射;步骤14:将模型变换的原语文件输入代码生成器;步骤15:得到输入、输出数据类和转换规则的Spark代码;本发明将一组描述数据转换的转换原语生成具有相同转换操作的Spark代码,降低数据平台开发人员使用Spark平台的复杂性,简化数据转换过程,降低基于Spark平台的大数据转换实现成本。

    基于模型转换由midcore生成Spark和Hadoop程序代码的方法

    公开(公告)号:CN108153522A

    公开(公告)日:2018-06-12

    申请号:CN201711418644.2

    申请日:2017-12-25

    Applicant: 南京大学

    Abstract: 本发明公开了一种由模型转换中间语言midcore生成Spark和Hadoop程序代码的方法。包括步骤1:建立两个xtext项目,分别对midcore语言进行抽象,抽出其中的语法树,进行建模,书写xtext的语法计解析器代码,步骤2:用xtend在其中一个项目中书写从midcore映射至Spark代码的转换规则,步骤3:用xtend在另一个项目中书写midcore映射生成Hadoop代码的转换规则。本发明将可以由现有的模型转换语言转换而成的中间语言对Spark和Hadoop两个平台的代码做了映射,为模型转换语言和Mapreduce程序实现了桥接,同时支持由midcore直接描述模型转换,生成Mapreduce程序代码,降低了Mapreduce程序开发的复杂性。

    一种由转换原语生成Spark代码的方法

    公开(公告)号:CN106843858A

    公开(公告)日:2017-06-13

    申请号:CN201611252903.4

    申请日:2016-12-30

    Applicant: 南京大学

    Abstract: 本发明公开了一种由转换原语生成Spark代码的方法,包括步骤:步骤10:设计表示数据模型变换的转换原语语法;步骤11:输入一个数据模型变换的原语文件,作为代码转换器的输入文件;步骤12:利用Xtext实现代码生成器的文法构造,完成转换原语的语法解析;步骤13:利用Xtend实现代码生成器的转换规则,建立转换原语与Spark代码之间的映射;步骤14:将模型变换的原语文件输入代码生成器;步骤15:得到输入、输出数据类和转换规则的Spark代码;本发明将一组描述数据转换的转换原语生成具有相同转换操作的Spark代码,降低数据平台开发人员使用Spark平台的复杂性,简化数据转换过程,降低基于Spark平台的大数据转换实现成本。

Patent Agency Ranking