一种基于元数据管理的数据血缘分析系统和方法

    公开(公告)号:CN115757655A

    公开(公告)日:2023-03-07

    申请号:CN202211424823.8

    申请日:2022-11-14

    Abstract: 本发明涉及一种基于元数据管理的数据血缘分析系统和方法,属于大数据技术领域。本发明通过获取多个数据源的原始数据,基于清洗规则进行清洗处理,得到清洗后数据;基于数据规范规则对清洗后数据进行规范化处理,得到规范数据;所述数据规范规则包括标准代码映射库和规范化规则;使用数据集成算法集成所述规范数据得到集成后数据;构建元数据管理体系;基于元数据管理体系进行数据的血缘分析并存储到图数据库。本发明提供的血缘分析系统和方法,对异地、异构数据做到表字段级别的血缘分析,支持快速准确的对数据质量回溯和定位问题,实现了对数据、数据源、API、清洗规则、数据标准、应用和管理全要素血缘关系展示。

    一种基于标签体系的物联网监控模型构建方法

    公开(公告)号:CN117332269A

    公开(公告)日:2024-01-02

    申请号:CN202311292957.3

    申请日:2023-10-08

    Abstract: 本发明涉及一种基于标签体系的结构化数据增量学习方法,属于自然语言处理领域。该方法包括以下步骤:建立初始标签体系,基于所述初始标签体系对结构化数据集进行人工标注,构建第一训练样本集;构建Bert模型,基于第一训练样本集对Bert模型进行训练得到训练好的Bert模型;将业务数据输入训练好的Bert模型得到相应的特征值,基于所述特征值得到完善的标签体系;构建物联网监控模型,利用所述物联网监控模型对业务数据进行预测得到预测后的业务数据;利用所述完善的标签体系对预测后的业务数据进行标注,构建第二训练样本集;基于第二训练样本集对所述物联网监控模型进行训练得到训练好的物联网监控模型。该方法可自动生成业务所需的特征标签,利用完善的标签体系对业务数据进行标注,提高了模型的识别效果和训练效率。

Patent Agency Ranking