一种不均衡数据的异常识别与修复方法及系统

    公开(公告)号:CN117743938A

    公开(公告)日:2024-03-22

    申请号:CN202311785567.X

    申请日:2023-12-22

    Abstract: 本发明属于数据治理技术领域,具体涉及一种不均衡数据的异常识别与修复方法及系统。所述方法包括不均衡混合数据聚类分析、异常数据识别与特征定位、异常数据修复三部分内容,首先提出了基于代价优化的混合聚类算法,解决不均衡数据集下混合数据的有效聚类问题,实现同一聚类簇内数据具有高度相似性;其次提出一种基于孤立森林的异常特征定位算法,解决以往无监督异常检测算法仅能定位到异常记录而无法识别记录中具体异常特征的问题,实现问题数据的准确定位;最后提出基于异构变分自编码器的数据修复模型,实现对混合数据异常的可信修复,解决以往人工智能方法在数据修复过程中受数据分布和噪声数据干扰过大导致修复数据可信度不高的问题。

    基于混合计费数据的电力计费公平性智能分析系统及方法

    公开(公告)号:CN111062620B

    公开(公告)日:2022-07-29

    申请号:CN201911315191.X

    申请日:2019-12-19

    Abstract: 本发明公开了一种基于混合计费数据的电力计费公平性智能分析系统及方法,属于电力计费领域,该分析系统包括数据集成部分、数据处理部分、模型训练部分、公平性分析模块和输出模块;数据处理部分的输入端与数据集成部分的输出端进行连接,数据处理部分的输出端与模型训练部分的输入端进行连接,公平性分析模块的输入端与模型训练部分的输出端进行连接。本发明通过计算每条数据对整个数据集的加权总熵产生的信息增益,实现对档案异常水平的评估及档案数据异常的筛选;通过计算每个用户的实际用电特征向量与该用户每种档案特征的特征值所涉及的所有用户样本的平均用电特征向量偏离程度识别档案属性相同情况下该用户的用电行为数据是否异常。

    一种基于多源时空数据组配的目标辨识方法与系统

    公开(公告)号:CN108573039B

    公开(公告)日:2022-03-11

    申请号:CN201810302288.6

    申请日:2018-04-04

    Abstract: 本发明属于数据处理领域,具体涉及一种基于多源时空数据组配的目标辨识方法与系统。本发明包括空间归一化模块、时间归一化模块、用于对原始数据进行标准化处理的数据标准化模块,异源数据连接模块,组配初始化模块和分组结合计数及匹配结果判断模块,以及结果验证模块和历史数据连接及世代审验模块,利用以上模块将信源空间特征归一化,对不同信源的数据进行空间时间维度标准化,以某一选定数据源为驱动,设置其数据标识码为关键字,将与其在同时同地出现的来自其他数据源的数据标识码进行整合和计数。本发明采取先拆分计算再合并结果的方式分步计算,处理海量数据,对设备性能的适应性较高,计算灵活,实时性较高,结果准确。

    一种基于多阶机器学习的电量异常智能识别方法及系统

    公开(公告)号:CN109325542A

    公开(公告)日:2019-02-12

    申请号:CN201811171013.X

    申请日:2018-10-09

    Abstract: 本发明涉及电力营销领域,尤其涉及一种基于多阶机器学习的电量异常智能识别方法及系统,该方法包括:获取待识别用户的用户信息;基于待识别用户的历史用电信息对待识别用户进行群体划分;根据同一群体内用户的历史数据训练机器学习组合异常识别模型;对同一群体内用户的本期电量信息开展离群分析并生成综合离群概率;通过组合异常识别模型得出待识别用户的电量异常概率;对综合离群概率和电量异常概率进行整合,得到待识别用户的电量异常识别结果。本发明通过多种异常识别模型及算法对用户电量进行异常识别,既考虑了用户电量的分布特征,又融入了历史数据中所蕴含的人工智慧,提高了电量异常核查的准确率,极大降低人工核查的工作量,节省人力物力。

    一种基于大数据的行迹相似对象识别方法与系统

    公开(公告)号:CN108595539A

    公开(公告)日:2018-09-28

    申请号:CN201810299875.4

    申请日:2018-04-04

    Abstract: 本发明属于数据分析领域,涉及一种基于大数据的行迹相似对象识别方法与系统。本发明利用空间归一化模块、数据整理模块、空间点位序列生成模块、行为轨迹序列提取模块、行为矩阵生成模块、行为矩阵运算模块依次连接,对行迹位置原始数据构建行迹标识字典;依据行迹标识字典标准化传入数据;统合属于每个对象的行迹点位数据;构建每个对象在时间窗口内的行迹点位序列;对每个对象的行迹点位序列生成位移轨迹序列;构建行为计算矩阵来计算轨迹相似度;输出行为相似性符合条件的结果。本发明通过获取分析不同对象的空间位置移动信息并利用算法计算不同对象空间位置变化相互间的相似度,探究对象之间的相似性关系、识别及寻找行为相似的对象与群体。

    一种多元知识链接驱动的NL2SQL问题增强方法

    公开(公告)号:CN119739837A

    公开(公告)日:2025-04-01

    申请号:CN202510237478.4

    申请日:2025-03-03

    Abstract: 本发明属于电力自然语言数据问答技术领域,具体涉及一种多元知识链接驱动的NL2SQL问题增强方法。所述方法包括:利用数据库表信息构建电力数据模式,并梳理出电力领域知识;构建问题解析Prompt模板,并利用大语言模型分析原始问题的结构,从原始问题中提取关键实体;基于梳理出的电力领域知识及从原始问题中提取的关键实体,采用混合相似度检索的方式检索电力领域知识;通过多级模式链接方法,以获取到与原始问题相关的数据库表与数据模式;基于检索出的电力领域知识及所获取到的数据模式,进行知识标准化并设计问题增强Prompt模板,利用大语言模型对原始问题进行重构增强,消除混淆和干扰因素,提高问答的准确度。

    一种深度学习驱动的异常识别与修复方法及智能化系统

    公开(公告)号:CN113240011A

    公开(公告)日:2021-08-10

    申请号:CN202110528781.1

    申请日:2021-05-14

    Abstract: 本发明涉及数据处理领域,具体涉及一种深度学习驱动的异常识别与修复方法及智能化系统。包括以下步骤:S1:数据结构识别,S2:数据特征变换,S3:训练异常检测和修复神经网络,S4:异常数据识别与异常修复,S5:数据特征还原。采用深度学习方法,对每个特征使用双分量混合模型,其中一个分量用于解释干净单元(即正常值),另一个分量用于解释异常单元(即异常值);通过降低异常单元的影响来模拟潜在的正常数据分布,为数据单元提供异常值分数和对单元修复的估计;将变分自编码器和生成对抗网络两个深度生成模型进行结合,有利于生成更好的修复结果;最终实现利用无监督学习方式对混合属性数据进行cell‑level(单元级别)的异常识别及修复。

    一种基于变分模态分解的短期电力负荷预测方法及系统

    公开(公告)号:CN112232600A

    公开(公告)日:2021-01-15

    申请号:CN202011285857.4

    申请日:2020-11-17

    Abstract: 本发明特别涉及一种基于变分模态分解的短期电力负荷预测方法,步骤如下:S1获取预测日及预测日前三个月的负荷数据和多元相关数据;S2数据预处理与关联;S3电力负荷序列模态分解;S4温度相关性判别;S5生成各分量特征向量;S6建立自适应步长负荷预测模型;S7利用LGBM梯度提升算法,建立电力负荷预测模型;S8预测结果整合;S9、预测结果修正。本发明还包括电力负荷预测系统,其包括数据获取模块,数据预处理与关联模块,负荷序列模态分解模块,温度相关性判别模块,生成各分量特征向量,负荷波动情况判别与模型调整模块,各分量预测模块,各分量预测结果整合模块,预测结果修正模块。本发明适用于电力负荷各分量复杂组成情况,预测精度高,使用更灵活,普适性好。

Patent Agency Ranking