一种基于大数据的数据质量校验与修复方法

    公开(公告)号:CN119127850A

    公开(公告)日:2024-12-13

    申请号:CN202411102492.5

    申请日:2024-08-12

    Abstract: 本申请涉及数据处理技术领域,公开了一种基于大数据的数据质量校验与修复方法,包括以下步骤:S1.进行数据质量评估的规则设定;S2.定义相关规则、指标、质量模板和质量任务,对大数据集的准确性、完整性、一致性和可信度展开评估;S3.采用适当的修复技术恢复数据完整性和准确性;S4.生成数据质量报告及可视化内容,为用户呈现数据质量状况,辅助其发现问题和制定改进措施,支持后续的数据分析和决策。本发明能够提高数据质量、增强数据可信度、优化数据分析和决策、实现自动化和智能化处理以及提供灵活的规则定制和管理,这些效果有助于提升数据的质量和可用性,为用户带来更高效、准确和可靠的数据处理和决策支持。

    基于hudi的数据采集处理系统、方法、电子设备及介质

    公开(公告)号:CN118916432A

    公开(公告)日:2024-11-08

    申请号:CN202411014985.3

    申请日:2024-07-26

    Abstract: 本申请适用于大数据采集与处理技术领域,提供了一种基于hudi的数据采集处理系统、方法、电子设备及介质,该系统包括数据采集模块、湖仓一体处理模块和数据应用模块;数据采集模块,用于采集多个业务数据库中的业务数据,并将业务数据增量同步至湖仓一体处理模块中;其中,业务数据包括离线数据和实时数据;湖仓一体处理模块,用于对离线数据和实时数据进行统一存储和处理,得到应用指标数据;数据应用模块,用于根据用户指令对湖仓一体处理模块中的应用指标数据进行关联查询。本申请能够用一套统一的技术架构来覆盖离线和实时的数据集成场景,提高数据处理的时效性,提高资源利用效率;同时还可以消除数据孤岛,提高数据的可访问性和可用性。

    面向机械设备维保的智能问答系统及方法

    公开(公告)号:CN118822504A

    公开(公告)日:2024-10-22

    申请号:CN202411034159.5

    申请日:2024-07-30

    Abstract: 本发明涉及机械设备维保技术领域,提供面向机械设备维保的智能问答系统,包括知识库管理模块、向量知识库管理模块、问答过程管理模块、大模型管理模块以及权限管理模块,所述知识库管理模块用于进行文档知识库的管理,所述大模型管理模块用于进行大语言模型的管理,所述问答过程管理模块用于进行问答对话的管理,所述大模型管理模块用于处理问答过程管理模块所输入的问题,所述权限管理模块具备对不同用户的访问文档权限进行管理的能力。本发明基于大模型的生成式的钢铁行业机械设备的维保类智能问答,可以为企业一线工人、技术人员、管理人员等提供方便快捷的问答,帮助企业提高效率、降低人力成本。

    一种钢厂多源环境数据融合的方法

    公开(公告)号:CN112231313A

    公开(公告)日:2021-01-15

    申请号:CN202011222199.4

    申请日:2020-11-05

    Abstract: 本发明公开了一种钢厂多源环境数据融合的方法,包括以下步骤:S1:对钢厂内多源环境数据进行采集,并存储进源数据库;所述多源环境数据包括钢厂生产排放监测数据、钢厂生产数据和钢厂当中的物流数据;S2:对采集到的多源环境数据进行预处理,预处理包括对数据的格式、时间及属性进行统一的分类;S3:将经过预处理的数据进行关联,得到关联矩阵;S4:基于BP神经网络方法,将关联得到的环境数据与钢厂生产数据进行融合。本发明通过大数据技术实现多源的环境数据融合,解决钢厂内环境数据来源广泛、复杂与数据异构问题,为一小时内钢厂生产及空气质量预测提供数据支撑。

Patent Agency Ranking