网络流量数据的自适应增强方法及装置

    公开(公告)号:CN113507447A

    公开(公告)日:2021-10-15

    申请号:CN202110671353.4

    申请日:2021-06-17

    Abstract: 本发明提供一种网络流量数据的自适应增强方法及装置,方法包括:基于层次凝聚聚类HAC算法对原始网络流量数据集进行聚类,并根据不平衡比确定少数类聚类;获取少数类聚类中少数类样本的稀疏度权重和数量权重;根据稀疏度权重和数量权重,确定少数类合成样本数量;基于过采样算法和少数类合成样本数量,对原始网络流量数据集进行数据增强。所述装置用于执行上述方法。本发明利用HAC聚类算法不需要参数的特性,减少需要预先设置的参数,降低噪声的影响,并且提出根据聚类中样本稀疏度和样本数量比例分配每个聚类合成样本数量的方案,能够自适应分配每个聚类需要合成新样本的数量,解决了现有技术中合成样本依赖信息不足的问题。

    一种数据处理方法、装置及系统

    公开(公告)号:CN106067096A

    公开(公告)日:2016-11-02

    申请号:CN201610470990.4

    申请日:2016-06-24

    Inventor: 李书芳 王臻

    Abstract: 本发明实施例公开了一种数据处理方法、装置及系统,该方法包括:针对不同母线,获得待处理的电网广域量测系统WAMS数据;对所获得的WAMS数据,采用基于消息队列的Apache Kafka框架和/或ZeroMQ框架进行存储;对所存储的WAMS数据进行数据预处理操作和滑动窗口采样操作,得到归一化且无偏置的多维的中间处理数据;对所得到的中间处理数据进行降维处理操作,并根据降维处理结果确定电网的稳态状况,以提高对数据的利用率以及处理效率。

    网络流量数据的自适应增强方法及装置

    公开(公告)号:CN113507447B

    公开(公告)日:2022-09-13

    申请号:CN202110671353.4

    申请日:2021-06-17

    Abstract: 本发明提供一种网络流量数据的自适应增强方法及装置,方法包括:基于层次凝聚聚类HAC算法对原始网络流量数据集进行聚类,并根据不平衡比确定少数类聚类;获取少数类聚类中少数类样本的稀疏度权重和数量权重;根据稀疏度权重和数量权重,确定少数类合成样本数量;基于过采样算法和少数类合成样本数量,对原始网络流量数据集进行数据增强。所述装置用于执行上述方法。本发明利用HAC聚类算法不需要参数的特性,减少需要预先设置的参数,降低噪声的影响,并且提出根据聚类中样本稀疏度和样本数量比例分配每个聚类合成样本数量的方案,能够自适应分配每个聚类需要合成新样本的数量,解决了现有技术中合成样本依赖信息不足的问题。

Patent Agency Ranking