一种基于并行自动编码器的少样本日志异常检测方法

    公开(公告)号:CN116775425A

    公开(公告)日:2023-09-19

    申请号:CN202310569356.6

    申请日:2023-05-19

    Inventor: 尹春勇 张小虎

    Abstract: 本发明公开了一种基于并行自动编码器的少样本日志异常检测方法,涉及机器学习技术领域,步骤为:将半结构化的原始日志数据,通过日志解析器Drain3进行结构化并提取日志模板;根据日志特性预处理日志语句并划分训练集、验证集、测试集;利用预训练的Glove词向量结合TF‑IDF算法将日志序列进行语义化表示;利用基于注意力的双向长短期记忆网络和并行自动编码器构建异常检测模型;利用迁移学习微调技术对异常检测模型进行训练,对所述日志序列语义向量进行异常检测。本发明利用并行自动编码器和迁移学习微调技术,解决了正负样本不平衡以及少样本日志异常检测带来的精度较低的问题,通过使用少量正样本获得了较好的异常检测效果。

Patent Agency Ranking