公开(公告)号：CN118227361B

公开(公告)日：2025-02-11

申请号：CN202410276582.X

申请日：2024-03-11

Applicant: 北京邮电大学

Inventor： 高雅丽 ,  李小勇 ,  戴国谱 ,  袁开国 ,  郑鑫浩

IPC: G06F11/07 ,  G06F18/15 ,  G06F18/2433 ,  G06N3/0455 ,  G06N3/088 ,  G06F18/213

Abstract: 本申请公开了一种不依赖日志解析器的无监督日志异常检测方法，其中该方法包括三个步骤：日志采集步骤，利用日志采集工具Flume和流式传输工具Kafka对计算机系统产生的增量日志进行高效采集和传输，保证日志数据采集和传输效率；日志预处理步骤，利用正则替换和标记化等方式对采集到的日志进行语义信息丰富和无效信息清理，有效提高数据质量；特征提取与异常检测步骤，利用BERT模型对日志数据进行语义特征提取，利用掩码语言模型MLM进行训练，从而对先验知识进行编码捕获正常日志序列的模式，进而实现无监督的日志异常检测。

公开(公告)号：CN118227361A

公开(公告)日：2024-06-21

申请号：CN202410276582.X

申请日：2024-03-11

Applicant: 北京邮电大学

Inventor： 高雅丽 ,  李小勇 ,  戴国谱 ,  袁开国 ,  郑鑫浩

IPC: G06F11/07 ,  G06F18/15 ,  G06F18/2433 ,  G06N3/0455 ,  G06N3/088 ,  G06F18/213

Abstract: 本申请公开了一种不依赖日志解析器的无监督日志异常检测方法，其中该方法包括三个步骤：日志采集步骤，利用日志采集工具Flume和流式传输工具Kafka对计算机系统产生的增量日志进行高效采集和传输，保证日志数据采集和传输效率；日志预处理步骤，利用正则替换和标记化等方式对采集到的日志进行语义信息丰富和无效信息清理，有效提高数据质量；特征提取与异常检测步骤，利用BERT模型对日志数据进行语义特征提取，利用掩码语言模型MLM进行训练，从而对先验知识进行编码捕获正常日志序列的模式，进而实现无监督的日志异常检测。