-
公开(公告)号:CN116484260B
公开(公告)日:2024-03-19
申请号:CN202310478997.0
申请日:2023-04-28
Applicant: 南京信息工程大学
IPC: G06F18/24 , G06F18/214 , G06F18/23 , G06N3/0464 , G06N3/0455 , G06N3/0442 , G06N3/0895
Abstract: 本发明公开了一种基于双向时间卷积网络的半监督日志异常检测方法,涉及计算机技术领域,步骤为:收集来自不同系统产生的日志数据集;对每个原始日志条目进行拆分并对日志事件进行日志解析,获得日志条目对应的日志模板;通过BERT词嵌入模型对日志模板进行向量化;基于日志分组方法将所有日志条目分为日志序列,并结合语义向量化得到日志序列语义向量;通过聚类算法给出每条日志条目对应标签概率;将日志序列语义向量输入带有残差块的Bi‑TCN网络进行训练,得到训练好的模型BTCNLog,在测试阶段使用该模型对日志测试集进行异常检测,从而解决现有技术中日志解析准确率不高和标记样本不足所导致的异常检测准确率降低等问题。
-
公开(公告)号:CN116484260A
公开(公告)日:2023-07-25
申请号:CN202310478997.0
申请日:2023-04-28
Applicant: 南京信息工程大学
IPC: G06F18/24 , G06F18/214 , G06F18/23 , G06N3/0464 , G06N3/0455 , G06N3/0442 , G06N3/0895
Abstract: 本发明公开了一种基于双向时间卷积网络的半监督日志异常检测方法,涉及计算机技术领域,步骤为:收集来自不同系统产生的日志数据集;对每个原始日志条目进行拆分并对日志事件进行日志解析,获得日志条目对应的日志模板;通过BERT词嵌入模型对日志模板进行向量化;基于日志分组方法将所有日志条目分为日志序列,并结合语义向量化得到日志序列语义向量;通过聚类算法给出每条日志条目对应标签概率;将日志序列语义向量输入带有残差块的Bi‑TCN网络进行训练,得到训练好的模型BTCNLog,在测试阶段使用该模型对日志测试集进行异常检测,从而解决现有技术中日志解析准确率不高和标记样本不足所导致的异常检测准确率降低等问题。
-
公开(公告)号:CN116522264A
公开(公告)日:2023-08-01
申请号:CN202310434170.X
申请日:2023-04-21
Applicant: 南京信息工程大学
IPC: G06F18/2433 , G06F18/15 , G06F17/18 , G06N3/0464 , G06N3/094
Abstract: 本发明公开了一种融合Bi‑TCN和对抗VAE的KPI异常检测方法。该方法包括:S1、数据预处理;S2、模型初始化,对模型参数进行随机初始化赋值,对参数进行设置;S3、模型训练;S4、模型测试,对测试进行相同的数据处理,输入训练好的模型获得重构误差,使用自动阈值方法产生的阈值来判定是否异常。本发明使用变分自编码进行对抗训练,VAE对于噪声和异常值更具有鲁棒性,对抗训练可以更高效放大包含异常的输入的重构误差以区分正常KPI数据和异常KPI数据。
-
-