公开(公告)号：CN114968742B

公开(公告)日：2024-10-22

申请号：CN202210599957.7

申请日：2022-05-26

Applicant: 武汉大学

Inventor： 应时 ,  程国力 ,  葛心泉 ,  黄浩 ,  甘庭

IPC: G06F11/34 ,  G06N20/20

Abstract: 本发明公开了Apache Spark平台性能预测建模方法以及参数配置方法，首先对Spark中的任务进行建模，然后对Spark中的任务执行阶段进行建模，最后运用Adaboost算法对已完成建模的部分进行集成。通过运用Adaboost方法对特定的基于Spark的应用进行建模预测，可以有效地选择最佳参数对Spark平台进行配置。本发明公开了一种基于Adaboost对Spark平台进行建模预测的方法，采用经典的投影抽样方法，允许在小训练样本的情况下满足建模精确度的要求，来对性能进行建模预测，指导参数的选择。

公开(公告)号：CN114968742A

公开(公告)日：2022-08-30

申请号：CN202210599957.7

申请日：2022-05-26

Applicant: 武汉大学

Inventor： 应时 ,  程国力 ,  葛心泉 ,  黄浩 ,  甘庭

IPC: G06F11/34 ,  G06N20/20

Abstract: 本发明公开了Apache Spark平台性能预测建模方法以及参数配置方法，首先对Spark中的任务进行建模，然后对Spark中的任务执行阶段进行建模，最后运用Adaboost算法对已完成建模的部分进行集成。通过运用Adaboost方法对特定的基于Spark的应用进行建模预测，可以有效地选择最佳参数对Spark平台进行配置。本发明公开了一种基于Adaboost对Spark平台进行建模预测的方法，采用经典的投影抽样方法，允许在小训练样本的情况下满足建模精确度的要求，来对性能进行建模预测，指导参数的选择。

公开(公告)号：CN109885456A

公开(公告)日：2019-06-14

申请号：CN201910127212.9

申请日：2019-02-20

Applicant: 武汉大学

Inventor： 应时 ,  杨喆 ,  王冰明 ,  程国力 ,  刘辉

IPC: G06F11/30 ,  G06F16/18 ,  G06F16/2458

Abstract: 为了能够在故障预测时进一步提供故障的相关信息，本发明公开了一种基于系统日志聚类的多类型故障事件预测方法，基于日志消息分类和标注日志事件，以提供故障的相关信息，利用改进的层次聚类算法挖掘故障事件各自相关的频繁事件序列，基于频繁事件序列生成故障事件预测规则，并实现对规则的过滤，基于规则的匹配实现多类型故障事件的预测。本发明实现了不仅能够有效的进行故障事件预测，而且能够提供故障的相关信息的技术效果。

公开(公告)号：CN110288004B

公开(公告)日：2021-04-20

申请号：CN201910463679.0

申请日：2019-05-30

Applicant: 武汉大学

Inventor： 应时 ,  刘辉 ,  王冰明 ,  杨喆 ,  程国力 ,  贾向阳

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06F40/30 ,  G06F16/18

Abstract: 本发明公开了一种基于日志语义挖掘的系统故障诊断方法及装置。首先，基于神经网络语言模型对输入日志进行训练得到日志事件的语义特征向量。然后，使用改进的K均值聚类算法对日志事件的语义特征向量进行聚类，并使用一种对聚类后的日志向量对应的日志事件进行过滤的方法。最后，应用过滤方法并提取过滤后的日志数据簇中具有代表性的日志事件形成特征日志序列进行检查。本发明的方法可以进行基于日志的系统故障诊断时有效的挖掘日志的相关信息，不仅能够提高故障识别和诊断的效率，还可以提高诊断的有效性，并且降低系统总体成本。

公开(公告)号：CN110288004A

公开(公告)日：2019-09-27

申请号：CN201910463679.0

申请日：2019-05-30

Applicant: 武汉大学

Inventor： 应时 ,  刘辉 ,  王冰明 ,  杨喆 ,  程国力 ,  贾向阳

IPC: G06K9/62 ,  G06N3/04 ,  G06F16/18 ,  G06F17/27

Abstract: 本发明公开了一种基于日志语义挖掘的系统故障诊断方法及装置。首先，基于神经网络语言模型对输入日志进行训练得到日志事件的语义特征向量。然后，使用改进的K均值聚类算法对日志事件的语义特征向量进行聚类，并使用一种对聚类后的日志向量对应的日志事件进行过滤的方法。最后，应用过滤方法并提取过滤后的日志数据簇中具有代表性的日志事件形成特征日志序列进行检查。本发明的方法可以进行基于日志的系统故障诊断时有效的挖掘日志的相关信息，不仅能够提高故障识别和诊断的效率，还可以提高诊断的有效性，并且降低系统总体成本。

公开(公告)号：CN108399199A

公开(公告)日：2018-08-14

申请号：CN201810091898.6

申请日：2018-01-30

Applicant: 武汉大学

Inventor： 应时 ,  程国力 ,  张骁 ,  张威 ,  李宇航 ,  贾向阳

IPC: G06F17/30 ,  H04L12/24

Abstract: 本发明涉及一种基于Spark的应用软件运行日志的收集与服务处理系统及方法，为各个层次上的不同资源提供日志服务，包括日志数据资源层的日志收集服务，日志数据服务层的日志数据存储服务，日志数据应用层的用户获取日志数据服务。它通过日志数据资源层的日志收集服务收集到原始数据后，推送到日志数据服务层进行日志数据预处理，再通过日志数据存储服务存储数据，最后在日志数据应用层向用户提供日志数据服务。本发明可以实现利用分布式收集策略对日志数据收集，定义了一种多层次数据存储结构对日志数据进行存储，并向用户提供日志数据查询服务，使用户获得有用的应用软件运行日志数据，通过获得的日志提高故障诊断的效率。