-
公开(公告)号：CN109542867B
公开(公告)日：2020-07-24
申请号：CN201811423381.9
申请日：2018-11-26
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F16/20
Abstract: 本发明实施例涉及数据处理技术领域，具体而言，涉及一种分布式数据采集方法及装置。该方法能够将用户输入的页面配置节点信息转换为动态目标信息，并采用运行器将动态目标信息转换为动态任务以使运行器能够通过任务等待的形式提交至分布式集群，然后采用分布式集群执行动态任务以获得对应的数据，如此，能够满足用户多样化的数据分析需求。
-
公开(公告)号：CN109542953B
公开(公告)日：2021-01-05
申请号：CN201811450260.3
申请日：2018-11-29
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F16/2458 , G06F16/242
Abstract: 本发明实施例涉及大数据处理技术领域，具体而言，涉及一种基于presto的数据处理方法及装置。该方法能够将客户端发送的配置信息以动态编码的形式转化为结构化查询语句，并交由设定处理引擎进行处理，进而获得目标数据，如此，能够动态地将配置信息进行改造，实现动态化的脱节点配置，使得客户端在响应用户输入的操作指令生成对应的配置信息之后直接将该配置信息交由服务端进行处理，无需用户进行额外的编码操作，能够满足用户根据多样化的数据分析和处理需求。
-
Patent Agency Ranking
公开(公告)号：CN110737683A
公开(公告)日：2020-01-31
申请号：CN201910990746.4
申请日：2019-10-18
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F16/2455 , G06F16/2458 , G06F16/25
Abstract: 本发明公开了一种基于抽取的商业智能分析平台自动分区方法及装置，本方案基于商业智能分析平台的数据抽取功能，用户在数据集配置抽取功能将源数据抽取到商业智能分析平台数据库中，为避免spark引擎在每个执行分支数据倾斜导致处理缓慢甚至出现内存移除失败的情况，平台开发出对客户数据源抽取时自动设置分区，保障每个执行分支数据均衡，降低内存消耗与时效的手段。解决了现有的商业智能分析平台在利用spark引擎抽取数据时，spark引擎中不同的执行分支需要处理的数据量差距较大，且数据量较大导致整个内存被严重占用，磁盘及IO也一直被负荷使用，可能导致内存溢出或者服务器资源状态异常的问题。
-
公开(公告)号：CN109508338A
公开(公告)日：2019-03-22
申请号：CN201811405654.7
申请日：2018-11-23
Applicant: 成都四方伟业软件股份有限公司
Abstract: 本申请实施例提供一种数据报表关联方法及装置，通过响应对各个数据库进行关联的关联请求，根据各个数据库的数据库类型在内存计算引擎中创建各个数据库对应的数据源，并通过所述内存计算引擎对创建的每个数据源进行解析，获取每个数据源对应的数据库信息，而后根据每个数据源对应的数据库信息获取每个数据源中的待查询的数据报表，最后将每个待查询的数据报表读取到同一内存区域中进行报表关联，生成关联后的各个待查询的数据报表。如此，能够对不同类型的数据源进行统一访问和关联查询，极大减少了用户的工作量和操作时间，提高管理效率。
-
公开(公告)号：CN111008235A
公开(公告)日：2020-04-14
申请号：CN201911216907.0
申请日：2019-12-03
Applicant: 成都四方伟业软件股份有限公司
Abstract: 本发明公开了一种基于Spark的小文件合并方法及系统，本方案通过定时合并小文件任务，根据任务规则将多个分区中的多个文件合并成1个文件，降低小文件散落数量，当查询Hive库中数据时能降低磁盘读取负荷，网络传输消耗，数据合并等过程提升数据查询效率。解决了现有方案对源数据库中的数据抽取到Hive库中，Spark同时多个任务同时读取源数据库数据，并将数据写入到不同分区中导致的磁盘读取倍增、数据查询性能就会下降的问题。
-
公开(公告)号：CN109542953A
公开(公告)日：2019-03-29
申请号：CN201811450260.3
申请日：2018-11-29
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F16/2458 , G06F16/242
Abstract: 本发明实施例涉及大数据处理技术领域，具体而言，涉及一种基于presto的数据处理方法及装置。该方法能够将客户端发送的配置信息以动态编码的形式转化为结构化查询语句，并交由设定处理引擎进行处理，进而获得目标数据，如此，能够动态地将配置信息进行改造，实现动态化的脱节点配置，使得客户端在响应用户输入的操作指令生成对应的配置信息之后直接将该配置信息交由服务端进行处理，无需用户进行额外的编码操作，能够满足用户根据多样化的数据分析和处理需求。
-
公开(公告)号：CN109542867A
公开(公告)日：2019-03-29
申请号：CN201811423381.9
申请日：2018-11-26
Applicant: 成都四方伟业软件股份有限公司
IPC: G06F16/20
Abstract: 本发明实施例涉及数据处理技术领域，具体而言，涉及一种分布式数据采集方法及装置。该方法能够将用户输入的页面配置节点信息转换为动态目标信息，并采用运行器将动态目标信息转换为动态任务以使运行器能够通过任务等待的形式提交至分布式集群，然后采用分布式集群执行动态任务以获得对应的数据，如此，能够满足用户多样化的数据分析需求。
-
-
-
-
-
-
Search Results
7
records
(took 0.024 seconds)
