一种应用于政务领域的数据质量评估方法及相关装置

    公开(公告)号:CN115829371A

    公开(公告)日:2023-03-21

    申请号:CN202211387954.3

    申请日:2022-11-07

    Abstract: 本申请公开了一种应用于政务领域的数据质量评估方法及相关装置,用于用于使政务领域的数据质量评估可量化、可落地且可迭代。本申请方法包括:根据政务领域的业务场景确定数据质量评价指标;基于数据质量评价指标确定指标约束规则;根据数据质量评价指标及指标约束规则构建数据质量评估算法模型;获取待评估的政务领域的目标数据集,并确定目标数据集对应的目标数据质量评价指标及目标指标约束规则,政务领域的目标数据集为目标职能部门在办理目标业务及进行目标决策时产生的数据;确定目标指标约束规则的目标权重值;将目标指标约束规则、目标权重值及目标数据集输入数据质量评估算法模型,获取目标数据集的数据质量评估结果。

    一种流批一体的数据处理方法、装置、系统及存储介质

    公开(公告)号:CN117389700A

    公开(公告)日:2024-01-12

    申请号:CN202311251284.7

    申请日:2023-09-26

    Abstract: 本申请公开了一种流批一体的数据处理方法、装置、系统及存储介质,用于对数据进行一体化处理。本申请方法包括:创建Flink任务;统一使用Flink SQL语句定义数据处理逻辑;对Flink任务的任务类型进行判断;当确定Flink任务为流数据处理任务时,使用Flink引擎的数据处理逻辑对Flink任务进行处理;当确定Flink任务为批数据处理任务时,将批数据处理任务的配置信息封装为数据流;通过XxlJob调度器检查数据结构中的数据流,并提取出数据流中的配置信息;通过XxlJob调度器将配置信息传输至预先创建的执行器中;通过执行器对配置信息进行解析;执行器调用Flink引擎的统一API接口,并将批数据处理任务以参数的形式提交给Flink引擎进行处理。

    跨域数据协同管理方法及装置
    8.
    发明公开

    公开(公告)号:CN115987676A

    公开(公告)日:2023-04-18

    申请号:CN202211738700.1

    申请日:2022-12-31

    Abstract: 本发明公开了一种跨域数据协同管理方法及装置,该方法包括:设置与第一网络和第二网络连接的摆渡服务器,在所述摆渡服务器上集成任务调度工具和数据传输工具,所述数据传输工具集成有加密算法,在所述摆渡服务器上设置可交互的数据源,所述数据源包括第一网络数据源和第二网络数据源;所述第一网络和所述第二网络为不同安全级别的网络;利用所述任务调度工具和数据传输工具,对所述数据源的数据进行跨域交互和/或跨域共享。利用本发明方案,可以在保障数据安全的前提下,实现不同网络与不同安全域之间的数据交换,提高数据交换效率,降低资源消耗。

    一种基于离线同步工具的数据采集方法、装置及储存介质

    公开(公告)号:CN115718784A

    公开(公告)日:2023-02-28

    申请号:CN202211384158.4

    申请日:2022-11-07

    Abstract: 本申请公开了一种基于离线同步工具的数据采集方法、装置及储存介质,用于提高数据采集效率。本申请包括:平台通过离线同步工具确定待采集数据的源数据库,并建立与所述源数据库的数据传输通道,所述离线同步工具集成在所述平台内部,所述平台还集成有任务调度器;所述平台根据所述源数据库的类型获取任务调度模板;所述平台根据所述任务调度模板及所述源数据库构建采集任务;所述平台通过所述离线同步工具及所述任务调度器执行所述采集任务;所述平台根据所述采集任务在所述数据传输通道上将所述待采集数据采集到目标数据库中。

    一种基于高斯混合模型的智能电表误差分析方法

    公开(公告)号:CN113722984A

    公开(公告)日:2021-11-30

    申请号:CN202110921384.0

    申请日:2021-08-11

    Abstract: 本发明公开了一种基于高斯混合模型的智能电表误差分析方法。该方法首先分析了高斯混合模型与EM算法的基本思路,然后建立了以高斯混合的智能电表误差数据模型,在模型中考虑了对于数据的预处理:三次检测智能电表得到的误差数据进行求标准误差,针对数据的离散特征进数字编码化,对数据进行标准化处理。进一步,以一组智能电表误差数据为例,阐述了基于高斯混合模型的智能电表误差数据挖掘与分析方法,分析结果表明所提出的方法能够用于在大量的数据中寻找误差最小的智能电表,并能够给智能电表厂家反馈产品意见,同时还具有产品市场划分等功能。

Patent Agency Ranking