一种基于深度学习的自动检测数据异常值的数据治理方法

    公开(公告)号:CN119475180A

    公开(公告)日:2025-02-18

    申请号:CN202411611334.2

    申请日:2024-11-12

    Abstract: 本发明涉及数据处理技术领域,具体为一种基于深度学习的自动检测数据异常值的数据治理方法,包括以下步骤,基于输入数据集,对多个数据源进行同步,填充缺失值,并对数据进行标准化和归一化处理,得到预处理数据集。本发明中,通过执行数据预处理,优化数据输入的一致性和质量,利用对特征的提取与模型的逐层训练,增强模型对异常数据的识别能力,提高数据异常检测的精度和效率,结合残差和重建误差的计算,提高对异常数据评分的准确性,利用数据特性动态调整检测阈值,降低误报率,结合时间序列分析,评估异常发展趋势,对异常数据和正常数据模式的对比分析和数据校正,确保了增强数据处理流程的可靠性和稳定性。

Patent Agency Ranking