-
公开(公告)号：CN109684093A
公开(公告)日：2019-04-26
申请号：CN201811585365.X
申请日：2018-12-24
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F9/50
Abstract: 本申请实施例提供一种数据处理方法及系统。该方法包括：计算设备将接收到的数据获取请求中的目标数据表标识及目标数据特征发送给查询设备；查询设备根据存储的元数据库中的数据表的数据表标识及对应的计算设备标识，查询得到与目标数据表标识对应的目标计算设备标识，并将目标数据表标识及目标数据特征发送给与目标计算设备标识对应的目标计算设备，以经目标计算设备获得目标位置信息；计算设备根据由查询设备发送的目标位置信息从对应的目标存储设备处获得目标数据，并将根据数据获取请求对目标数据进行处理后得到的处理结果发送请求设备。由此，通过将计算资源及存储资源分离，可保证计算任务按照正常进度进行。
-
Patent Agency Ranking
公开(公告)号：CN109684093B
公开(公告)日：2021-03-09
申请号：CN201811585365.X
申请日：2018-12-24
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F9/50
Abstract: 本申请实施例提供一种数据处理方法及系统。该方法包括：计算设备将接收到的数据获取请求中的目标数据表标识及目标数据特征发送给查询设备；查询设备根据存储的元数据库中的数据表的数据表标识及对应的计算设备标识，查询得到与目标数据表标识对应的目标计算设备标识，并将目标数据表标识及目标数据特征发送给与目标计算设备标识对应的目标计算设备，以经目标计算设备获得目标位置信息；计算设备根据由查询设备发送的目标位置信息从对应的目标存储设备处获得目标数据，并将根据数据获取请求对目标数据进行处理后得到的处理结果发送请求设备。由此，通过将计算资源及存储资源分离，可保证计算任务按照正常进度进行。
-
公开(公告)号：CN110647518A
公开(公告)日：2020-01-03
申请号：CN201911188323.7
申请日：2019-11-28
Applicant: 成都四方伟业软件股份有限公司
Abstract: 本发明公开了一种数据源融合计算方法、组件及装置，在本技术方案中不需要预先创建外部表，只需依赖数据源连接信息就可以直接展开多数据源计算。首先，我们会解析用户的SQL语句；然后，根据解析结果只从源数据库中抽取用户业务中需要的数据；最后，将这些数据在DTC-FUSION上展开融合计算，并将结果输出到用户指定的目标数据库。解决了在现有的技术中一般通过Spark进行数据融合计算，其支持的数据源种类受限，而且每个数据源的表数据是全量读取，然后在内存中计算，这样参与计算的数据量巨大，对内存和网络I/O的压力非常大的问题。
-
公开(公告)号：CN110647518B
公开(公告)日：2020-04-28
申请号：CN201911188323.7
申请日：2019-11-28
Applicant: 成都四方伟业软件股份有限公司
Abstract: 本发明公开了一种数据源融合计算方法、组件及装置，在本技术方案中不需要预先创建外部表，只需依赖数据源连接信息就可以直接展开多数据源计算。首先，我们会解析用户的SQL语句；然后，根据解析结果只从源数据库中抽取用户业务中需要的数据；最后，将这些数据在DTC‑FUSION上展开融合计算，并将结果输出到用户指定的目标数据库。解决了在现有的技术中一般通过Spark进行数据融合计算，其支持的数据源种类受限，而且每个数据源的表数据是全量读取，然后在内存中计算，这样参与计算的数据量巨大，对内存和网络I/O的压力非常大的问题。
-
公开(公告)号：CN110781212A
公开(公告)日：2020-02-11
申请号：CN201910892123.3
申请日：2019-09-20
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F16/2455 , G06F16/242
Abstract: 本发明公开了一种SQL高效计算和访问的方法、组件及系统，本技术方案将会修改CALCITE源码来实现元数据和汇总表的物理存储，将元数据和汇总表存储在外储存器，利用外储存器断电后数据不会丢失的特性，解决CALCITE服务停止运行带来的影响，同时，由于CALCITE解析得到的元数据被同时存储在RAM和外储存器中，当CALCITE接收到处理过的SQL语句时，在系统没出现过停止运行的情况下可以直接读取RAM中的元数据，根据元数据在外储存器中匹配执行结果；即使系统出现过停止运行的情况，也可以直接读取外储存器中的元数据，根据元数据在外储存器中匹配执行结果。
-
公开(公告)号：CN110059107A
公开(公告)日：2019-07-26
申请号：CN201910322178.0
申请日：2019-04-19
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F16/2453
Abstract: 本发明提供了一种计划优化方法、装置、系统及计算机可读存储介质，涉及大数据技术领域，该方法包括：根据预设的计划查询节点对本地计划的状态进行查询；当查询到准备执行本地计划时，基于本地计划中预设的分区参数确定按照自适应优化规则在分区中执行本地计划；其中，自适应优化规则为基于可配置的数据处理门限和计划执行过程中的元数据对计划进行重新分区的规则；基于自适应优化规则，采集本地计划在各分区执行过程中的元数据，根据采集到的元数据和数据处理门限对本地计划的执行分区进行优化。本发明可以实现对计划的动态调整，改善各分区处理数据倾斜的问题，从而提高集群资源利用率和SQL的运行性能。
-
-
-
-
-
Search Results
6
records
(took 0.024 seconds)
