一种基于深度学习的自动检测数据异常值的数据治理方法

    公开(公告)号:CN119475180A

    公开(公告)日:2025-02-18

    申请号:CN202411611334.2

    申请日:2024-11-12

    Abstract: 本发明涉及数据处理技术领域,具体为一种基于深度学习的自动检测数据异常值的数据治理方法,包括以下步骤,基于输入数据集,对多个数据源进行同步,填充缺失值,并对数据进行标准化和归一化处理,得到预处理数据集。本发明中,通过执行数据预处理,优化数据输入的一致性和质量,利用对特征的提取与模型的逐层训练,增强模型对异常数据的识别能力,提高数据异常检测的精度和效率,结合残差和重建误差的计算,提高对异常数据评分的准确性,利用数据特性动态调整检测阈值,降低误报率,结合时间序列分析,评估异常发展趋势,对异常数据和正常数据模式的对比分析和数据校正,确保了增强数据处理流程的可靠性和稳定性。

    一种基于机器学习的电网设备档案数据纠错方法

    公开(公告)号:CN109472293A

    公开(公告)日:2019-03-15

    申请号:CN201811187606.5

    申请日:2018-10-12

    Inventor: 龙婧 刘伟 徐文峰

    Abstract: 本发明提供一种基于机器学习的电网设备档案数据纠错方法,对现有的大量数据进行处理、挖掘其中隐藏的规律,自动生成判断规则,基于这些规则对数据进行自动诊断,能够大大降低工作难度,可以为数据质量筛查、数据整改、数据治理提供一份重要的依据;本发明利用大数据技术开展数据治理,对大量数据中异常的自动诊断,并为数据的整改提供建议,能够减少数据校验工作对业务人员的强依赖性,对于完全无规则可提炼的分散型数据异常情况,也可以机器学习实现自动处理,避免人力筛查带来的复杂工作量,本发明利用大数据对数据异常问题进行归类分析,提供给数据产生方进行整改,能够从源头上降低数据问题,为数据源头整改提供参考。

    一种基于图像识别的变电设备的巡检方法及系统

    公开(公告)号:CN118314481B

    公开(公告)日:2024-08-16

    申请号:CN202410733491.4

    申请日:2024-06-07

    Abstract: 本发明涉及图像通信技术领域,具体涉及一种基于图像识别的变电设备的巡检方法及系统,其方法包括:针对第一变电设备巡检视频中,霍夫曼树的第2层存在叶子节点的帧,在所述帧的霍夫曼树中第2层的叶子节点的下一层构建一个分支节点作为目标分支节点,将优选度最大的子树作为目标子树并移动到目标分支节点的下面,获得改进后的霍夫曼树,通过改进后的霍夫曼树对所述帧进行编码压缩,将所有帧的编码压缩的结果发送给变电站巡检平台,根据编码压缩的结果,确定变电设备的巡检结果。本发明提高了通信效率,进而提高了无人机对变电设备的巡检效率。

    一种基于图像识别的变电设备的巡检方法及系统

    公开(公告)号:CN118314481A

    公开(公告)日:2024-07-09

    申请号:CN202410733491.4

    申请日:2024-06-07

    Abstract: 本发明涉及图像通信技术领域,具体涉及一种基于图像识别的变电设备的巡检方法及系统,其方法包括:针对第一变电设备巡检视频中,霍夫曼树的第2层存在叶子节点的帧,在所述帧的霍夫曼树中第2层的叶子节点的下一层构建一个分支节点作为目标分支节点,将优选度最大的子树作为目标子树并移动到目标分支节点的下面,获得改进后的霍夫曼树,通过改进后的霍夫曼树对所述帧进行编码压缩,将所有帧的编码压缩的结果发送给变电站巡检平台,根据编码压缩的结果,确定变电设备的巡检结果。本发明提高了通信效率,进而提高了无人机对变电设备的巡检效率。

    一种基于自然语言处理和随机森林的电力数据治理方法

    公开(公告)号:CN114154561A

    公开(公告)日:2022-03-08

    申请号:CN202111345415.9

    申请日:2021-11-15

    Inventor: 刘伟 叶磊

    Abstract: 本发明提供一种基于自然语言处理和随机森林的电力数据治理方法,包括:数据抽取,获取训练集F;对训练集F进行特征数据提取,将型号数据进行分词得到特征数据集合;第三步:对特征数据集合进行去停用词形成数据集合;第四步:对数据集合进行分词,然后经过word2vec变换形成词向量;第五步:对词向量进行随机森林算法分类;第六步:随机森林分类模型构建;第七步:随机森林分类模型确定后,在使用阶段将数据分类,然后将每一类的异常数据返回给用户,并且将正常数据推荐给用户,由用户参考修改。本发明利用大数据对数据异常问题进行归类分析,提供给数据产生方进行整改,能够从源头上降低数据问题,为数据源头整改提供参考。

    一种用统计技术分析网路数据包所经过的链和规则路径的追踪方法及装置

    公开(公告)号:CN120017524A

    公开(公告)日:2025-05-16

    申请号:CN202510146328.2

    申请日:2025-02-10

    Inventor: 叶磊 刘伟

    Abstract: 本发明提供一种用统计技术分析网路数据包所经过的链和规则路径的追踪方法及装置,该方法包括:依据待分析数据包的特征,构建一个与数据包的特征相符的网络请求;执行网络请求并统计结果:首先将所有规则的计数器清零,然后执行一次显示计数器命令,记录每个规则的初始匹配包数量;接着执行n次网络请求,再执行一次显示计数器命令,记录每个规则的当前匹配包数;根据统计结果,计算所有规则的两次计数器匹配包数量之差,将差值小于n的规则排除,得到剩余规则;结合剩余规则以及规则的执行顺序,确定数据包经过的链和规则路径。本发明能够比较精确追踪单个数据包在多个链中的匹配路径,能够确定数据包经过的具体链和匹配的规则。

Patent Agency Ranking