公开(公告)号：CN118260689A

公开(公告)日：2024-06-28

申请号：CN202410334702.7

申请日：2024-03-22

Applicant: 长沙理工大学

Inventor： 何施茗 ,  张颖 ,  雷盈 ,  刘瑞 ,  隆思如 ,  梁涤青 ,  廖卓凡

IPC: G06F18/2433 ,  G06F18/214 ,  G06N3/045 ,  G06N3/0499 ,  G06N3/084 ,  G06F17/16

Abstract: 本发明属于日志异常检测领域，涉及一种基于自适应低秩参数高效微调的日志异常检测方法。与已有的方法相比，本发明使解决了预训练模型训练开销大、预定义微调网络层的问题，将AdaLoRA参数调优策略用在BERT的所有层，通过自适应选择作用层，减少训练开销和参数的数量，最终以更少的标签数据和更少的训练时间实现可靠的异常检测性能。因此，本项目可以使用基于自适应低秩参数高效的日志异常检测方法检测日志中的异常。采用预训练模型BERT，降低训练时标签数据量的需求。通过冻结预训练模型参数，将BERT模型的所有层与自适应低秩参数高效策略相结合，联合网络层选择、低秩旁路矩阵学习和日志分类任务训练，完成参数高效日志异常检测任务，减少模型训练开销。

公开(公告)号：CN118606136A

公开(公告)日：2024-09-06

申请号：CN202410735422.7

申请日：2024-06-07

Applicant: 长沙理工大学

Inventor： 何施茗 ,  隆思如 ,  雷盈 ,  伍艳龄 ,  梁涤青 ,  汤强

IPC: G06F11/30 ,  G06F16/35 ,  G06F40/16 ,  G06N3/045

Abstract: 本申请提供一种基于主动学习和前缀微调的日志异常检测方法，包括：S1、提取日志消息，对所述日志消息进行解析，得到日志模板；S2、构建所述日志模板的日志序列；S3、将所述日志序列输入至BERT预训练模型，对所述BERT预训练模型进行训练，得到训练好的BERT模型；其中，所述BERT预训练模型中包括前缀微调处理；S4、将待检测的日志消息输入至所述训练好的BERT模型，得到所述待检测的日志消息的检测结果。本申请通过在BERT预训练模型中增加前缀微调处理，可以减少预训练模型的训练参数，缩短模型训练时间，提高模型训练效率。