-
公开(公告)号:CN109460408A
公开(公告)日:2019-03-12
申请号:CN201811269590.2
申请日:2018-10-29
Applicant: 成都四方伟业软件股份有限公司
Abstract: 在本申请实施例提供的数据处理方法及装置中,包括:根据预先设置的自定义语句,建立Spark与HBase表之间的通路;通过Spark获取HBase表的第一表项信息,根据预先存储的类型替换关系,将所述第一表项信息转换为第二表项信息;根据所述第二表项信息,通过Spark在Hive创建所述HBase表的映射表,记为Hive表。本申请实施例提供的数据处理方法可以根据预先设置的自定义语句建立Spark与HBase表的通路,然后通过Spark从HBase表获取表项信息,并对表项信息进行符合Spark格式需求的转换,从而通过Spark在Hive创建所述HBase表的映射表,该映射表既能从HBase表获取信息,又具有Spark系统数据分析速度快的优点。
-
公开(公告)号:CN109408493A
公开(公告)日:2019-03-01
申请号:CN201811212053.4
申请日:2018-10-17
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F16/21 , G06F16/2453 , G06F16/242
Abstract: 本发明实施例提供一种数据源的迁移方法及系统。方法包括:获取待迁移数据源的存储过程,所述存储过程包括1个或多个SQL语句;对所述SQL语句进行解析,生成各SQL语句对应的java语法,所述java语法为目标数据库可识别的语法;根据对所述java语法将所述待迁移数据源存储至所述目标数据库。系统用于执行上述方法。本发明实施例通过获取待迁移数据源的存储过程,对存储过程中的SQL语句进行解析,生成对应的java语法,然后根据java语法对待迁移数据源进行存储,即便在底层数据存储变更后,存储过程业务代码仍然可以平稳过度到目标数据库中,减少二次开发所需的时间和成本。
-
公开(公告)号:CN109992259B
公开(公告)日:2020-10-30
申请号:CN201910300273.0
申请日:2019-04-15
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F8/30 , G06F8/41 , G06F16/242 , G06F16/28
Abstract: 本申请实施例提供一种函数动态创建方法、装置及电子设备,在获取的存储过程的SQL语句中包含函数创建语句及存储过程创建语句时,分别对函数创建语句及存储过程创建语句进行解析生成对应的第一java文件及第二java文件,再分别对其进行编译得到第一可执行文件和第二可执行文件,最后将第一可执行文件和第二可执行文件加载至内存中。如此,可在创建存储过程中动态创建自定义函数,便于后续存储过程对自定义函数的调用,并且基于java代码的通用性,java类的自定义函数及存储过程可支持跨平台的使用。
-
公开(公告)号:CN109766352A
公开(公告)日:2019-05-17
申请号:CN201811379218.7
申请日:2018-11-19
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F16/242 , G06F16/2452 , G06F21/62
Abstract: 本发明公开了一种对异构数据源统一处理的方法及系统,方法包括步骤:获取请求端数据;通过请求端数据获取用户信息并对用户进行鉴权;解析请求端数据,确定请求端数据的目标数据库;将请求端数据转换为目标数据库对应的方言;创建与目标数据库的连接并通过转换后的方言执行请求端数据并返回执行结果至请求端;系统包括数据获取模块、数据解析模块、权限配置模块、路由解析模块、语法转换模块及执行模块;本发明基于MySql二进制通信协议通信,通过将标准Sql语句转换成目标数据库方言,实现了以统一的Sql92标准语句为入口,操作不同种类数据库并返回数据,有效降低了跨数据库的异构数据源统一处理的实现成本和技术难度,提高了异构数据源统一处理的效率。
-
公开(公告)号:CN110737445A
公开(公告)日:2020-01-31
申请号:CN201911013079.0
申请日:2019-10-23
Applicant: 成都四方伟业软件股份有限公司
Abstract: 本发明公开了一种基于智能规划安装大数据软件的方法,现有的手动配置服务实现数据平台安装,需要实现的步骤有:第一步,手动设置服务器环境,如关闭selinux,防火墙等。第二步,手动配置安装参数。第三步,手动执行安装命令。第四步,如果资源不满足服务运行要求,则需要再次手动调整。本方案区别于现有技术,提出一种可以根据软硬件资源信息智能规划安装hadoop大数据产品的方法,自动配置大数据软件的各项服务,达到合理分配资源安装大数据产品,降低运维成本;解决了手动配置安装大数据管理系统的服务,存在配置复杂,操作容易出现失误,失败后需要花费大量时间进行解决,对操作人员要求较高的问题。
-
公开(公告)号:CN109992259A
公开(公告)日:2019-07-09
申请号:CN201910300273.0
申请日:2019-04-15
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F8/30 , G06F8/41 , G06F16/242 , G06F16/28
Abstract: 本申请实施例提供一种函数动态创建方法、装置及电子设备,在获取的存储过程的SQL语句中包含函数创建语句及存储过程创建语句时,分别对函数创建语句及存储过程创建语句进行解析生成对应的第一java文件及第二java文件,再分别对其进行编译得到第一可执行文件和第二可执行文件,最后将第一可执行文件和第二可执行文件加载至内存中。如此,可在创建存储过程中动态创建自定义函数,便于后续存储过程对自定义函数的调用,并且基于java代码的通用性,java类的自定义函数及存储过程可支持跨平台的使用。
-
-
-
-
-