公开(公告)号：CN111585997A

公开(公告)日：2020-08-25

申请号：CN202010344517.8

申请日：2020-04-27

Applicant: 国家计算机网络与信息安全管理中心 ,  浙江邦盛科技有限公司

Inventor： 李文龙 ,  张家琦 ,  邢燕祯 ,  刘中金 ,  何跃鹰 ,  高杨 ,  王新根 ,  鲁萍 ,  黄滔

IPC: H04L29/06 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于少量标注数据的网络流量异常检测方法，采用双自编码器对特征向量进行降维处理，然后使用深度神经网络进行有监督的训练；将网络流量分成正样本和负样本的两类，最后筛选出无标注数据中部分重要样本，交由专家进行标注，增加有标记样本数量，迭代更新自编码器和分类器，之后用训练好的分类器进行网络流量异常检测。本发明提出双自编码器架构，使用纯净的正负样本分别训练自编码器，提升了分类器的稳定性。同时改进深度神经网络的损失函数，更细粒度地调整样本权重，解决正负样本不平衡，缓解训练集较小导致的过拟合问题，并提出一种新的计算无标注数据的标记价值的方法，选择标记价值高的样本交由专家，减少了标注成本。

公开(公告)号：CN111585997B

公开(公告)日：2022-01-14

申请号：CN202010344517.8

申请日：2020-04-27

Applicant: 国家计算机网络与信息安全管理中心 ,  浙江邦盛科技有限公司

Inventor： 李文龙 ,  张家琦 ,  邢燕祯 ,  刘中金 ,  何跃鹰 ,  高杨 ,  王新根 ,  鲁萍 ,  黄滔

IPC: H04L9/40 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于少量标注数据的网络流量异常检测方法，采用双自编码器对特征向量进行降维处理，然后使用深度神经网络进行有监督的训练；将网络流量分成正样本和负样本的两类，最后筛选出无标注数据中部分重要样本，交由专家进行标注，增加有标记样本数量，迭代更新自编码器和分类器，之后用训练好的分类器进行网络流量异常检测。本发明提出双自编码器架构，使用纯净的正负样本分别训练自编码器，提升了分类器的稳定性。同时改进深度神经网络的损失函数，更细粒度地调整样本权重，解决正负样本不平衡，缓解训练集较小导致的过拟合问题，并提出一种新的计算无标注数据的标记价值的方法，选择标记价值高的样本交由专家，减少了标注成本。