公开(公告)号：CN117709877A

公开(公告)日：2024-03-15

申请号：CN202311716642.7

申请日：2023-12-13

Applicant: 成都四方伟业软件股份有限公司

Inventor： 刘航 ,  刘航 ,  彭丽林 ,  胡将 ,  庞攀

IPC: G06Q10/10 ,  G06F11/30

Abstract: 本发明公开了一种业务审核系统构建方法、装置以及设备，包括：构建第一审核节点集合库；根据第一待审核业务的第一业务类型，从第一审核节点集合库中确定至少一个目标可视化审核节点；根据第一待审核业务的预设审核要求，确定第一待审核业务的目标审核流程；根据目标审核流程以及至少一个目标可视化审核节点，构建第一待审核业务对应的目标审核系统。本发明通过构建第一审核节点集合库，构建不同的第一业务类型对应的目标审核系统时，从第一审核节点集合库确定至少一个目标可视化审核节点，并根据至少一个目标可视化审核节点与目标审核流程构建目标审核系统，其操作简单，无需进行定制化开发，可以极大的降低编码量，也就意味着提高了工作效率。

公开(公告)号：CN111400299A

公开(公告)日：2020-07-10

申请号：CN202010497131.0

申请日：2020-06-04

Applicant: 成都四方伟业软件股份有限公司

Inventor： 张艳清 ,  查文宇 ,  庞攀 ,  王怡君 ,  金日海 ,  赵神州

IPC: G06F16/215 ,  G06F16/22 ,  G06F16/242

Abstract: 本发明公开了一种多种数据融合质量检验的方法及系统，使用Spark-SQL从数据源中读取数据表，通过Spark集群对读取到的数据表进行质量检验并输出检验报告。本方案则提供统一的界面编辑Spark-SQL，并进行语法检验，由于Spark-SQL可以读取多种数据源的数据，本方案提供多数据源的数据表的融合质量检验。然后通过编排Spark-SQL转换成Spark分布式计算框架进行计算，可以处理TB、PB级别的数据。解决了传统的数据质量检验使用编写程序和python脚本方式进行质量检验，每种不同的场景都需要使用固定的逻辑，没有统一的SQL输入，不同的数据库检验需要使用不同的工具的问题。

公开(公告)号：CN117539862A

公开(公告)日：2024-02-09

申请号：CN202311492358.6

申请日：2023-11-09

Applicant: 成都四方伟业软件股份有限公司

Inventor： 庞攀 ,  刘俊良 ,  顾美营 ,  杨海荣

IPC: G06F16/22 ,  G06F16/27 ,  G06F16/215

Abstract: 本发明涉及数据处理技术领域，具体而言，涉及一种基于Spark的表关系探测方法及系统、设备、介质，主要包括了将数据集分为多个数据分区，每个数据分区在Spark集群中的不同计算节点上进行处理；通过哈希计算将主键和外键转化为哈希值，通过哈希值创建分布式哈希表，所述哈希表包括主键和外键的哈希索引，利用哈希索引，在每个数据分区中执行主键和外键的比较操作，确定记录主键和外键之间的关联。通过本发明的提供的方法，由于使用了Spark引擎，本方案在处理大规模数据时具有高度可扩展性，能够应对不断增长的数据需求，采用主外键比较，本方案确保了准确的主外键匹配，从而降低了误差率。这有助于数据的准确性和一致性。

公开(公告)号：CN108762933A

公开(公告)日：2018-11-06

申请号：CN201810556408.5

申请日：2018-05-31

Applicant: 成都四方伟业软件股份有限公司

Inventor： 王双 ,  王纯斌 ,  刘俊良 ,  庞攀

IPC: G06F9/50 ,  G06F17/30

CPC classification number: G06F9/5072

Abstract: 本发明提供了一种数据质量校验方法及装置，涉及数据校验领域。数据质量校验方法包括：对待校验的数据源进行解析，得到数据源元数据；对预定义的校验流程配置进行解析，得到校验流程配置的节点的节点配置；依据节点配置将校验流程配置的节点动态组装并编译成可执行的分布式计算服务；根据可执行的分布式计算服务和数据源元数据对数据源进行校验运算，得到校验结果。本发明提供的数据质量校验方法及装置能够充分利用计算资源提升对数据质量校验的计算速度，满足对于数据持续增长的数据质量校验需求。

公开(公告)号：CN118210843A

公开(公告)日：2024-06-18

申请号：CN202410192276.8

申请日：2024-02-21

Applicant: 成都四方伟业软件股份有限公司

Inventor： 刘航 ,  刘俊良 ,  彭丽林 ,  胡将 ,  庞攀

IPC: G06F16/25 ,  G06F16/28

Abstract: 本发明公开了一种数据采集方法、装置、设备以及介质，包括：根据目标用户需求，从多个数据源库中确定目标数据源库，每个数据源库中均存储一种类型的待采集数据；根据目标用户需求，确定目标抽取规则；按照目标抽取规则，对目标数据源库中的目标待采集数据进行采集，得到目标采集数据；将目标采集数据存储至预设数据存储仓中，以供目标用户进行使用或查看。相较于现有技术中针对同一类型的数据采用主流图形化配置方式完成数据采集加工处理，通过主流图形化配置方式完成数据采集加工处理的每个步骤均需相关人员参与，自动化程度低；本发明在确定目标抽取规则后，针对同一类型的数据，可以自动采集目标采集数据，自动化程度较高。

公开(公告)号：CN117667454A

公开(公告)日：2024-03-08

申请号：CN202311678519.0

申请日：2023-12-07

Applicant: 成都四方伟业软件股份有限公司

Inventor： 沈滔 ,  刘航 ,  庞攀 ,  顾美营 ,  胥果 ,  马华均 ,  张登辉 ,  王树超

IPC: G06F9/54 ,  G06F9/445

Abstract: 本发明公开了一种元数据采集方法、装置、设备以及介质，包括：为目标客户端配置目标采集任务；根据目标采集任务，确定目标待采集数据源；为目标客户端配置目标采集插件，目标采集插件中至少包括预设数据结构、预设连接协议、预设采集工具以及预设采集规则；基于采集执行器，目标客户端采用目标采集插件采集目标待采集数据源中的第一元数据。相较于现有技术中，仅能对单种类型的元数据进行采集，本申请可以针对多种类型的元数据进行采集，并且编码量更小，提高了元数据的采集效率，降低了工作人员的劳动强度，提高了经济效益。