分布式环境下保障应用服务质量的方法及系统

    公开(公告)号:CN104486129A

    公开(公告)日:2015-04-01

    申请号:CN201410821077.5

    申请日:2014-12-24

    Abstract: 本发明提供一种分布式环境下定位瓶颈节点和保障应用服务质量的方法及系统。定位瓶颈节点的方法包括计算服务的关键路径上的每个节点在其处理阶段的延迟波动值;并且根据延迟波动值确定瓶颈节点。其中,服务的关键路径是根据一段时间内处理对该服务的请求的关键路径得到的;延迟波动值是根据一段时间内节点在其处理阶段处理请求的时间得到的。保障应用服务质量的方法包括对于存在长尾延迟的服务定位瓶颈节点;以及,检查瓶颈节点的延迟波动值是否超过预定阈值,根据检查结果执行故障诊断或者对该瓶颈节点的服务请求执行请求调度或加速。本发明降低了请求响应时间波动并且减少了长尾延迟,此外还减少了逐级逐个对节点进行优化的开销。

    一种缓存冲突检测方法、装置及系统

    公开(公告)号:CN104239228A

    公开(公告)日:2014-12-24

    申请号:CN201310246466.5

    申请日:2013-06-20

    Inventor: 隋秀峰 任睿

    Abstract: 本发明实施例公开了一种缓存冲突检测方法、装置及系统,用于全面细粒度地反映使用方之间对共享高速缓存的竞争冲突程度。本发明实施例方法包括:将共享高速缓存中的多个高速缓存组平均划分为N个超级组,高速缓存组的数量为N的正整数倍;计算预设时间内各个使用方对各个超级组的命中次数;根据命中次数生成各个使用方的命中向量,命中向量为N维向量;根据命中向量计算每两个使用方之间的命中向量相似度,命中向量相似度用于指示两个使用方之间对共享高速缓存的竞争程度;根据命中向量相似度识别对共享高速缓存存在竞争冲突的使用方。通过实施本发明方案,能够精确反映使用方之间对共享高速缓存的竞争冲突程度。

    集群系统的失效预测方法及装置

    公开(公告)号:CN103812719A

    公开(公告)日:2014-05-21

    申请号:CN201210450162.6

    申请日:2012-11-12

    Abstract: 本发明实施例提供一种集群系统的失效预测方法及装置。方法包括:根据集群系统的失效事件集合对事件序列模式集合进行聚类分析,获得事件序列簇;对事件序列簇进行因果关联分析,获取因果关联路径簇;对因果关联路径簇进行失效分析,获取集群系统的失效模式;根据失效模式,对集群系统进行失效预测。本发明实施例提供的集群系统的失效预测方法及装置对事件序列模式集合进行聚类获得因果关联路径簇,从而获得集群系统的失效模式,根据获取的失效模式对集群系统进行失效预测。可以通过对集群系统日志进行深度的分析和挖掘,获得用于失效预测的可靠的失效规则,进而提高失效预测的召回率。

    系统日志分类方法
    4.
    发明授权

    公开(公告)号:CN108427720B

    公开(公告)日:2020-12-29

    申请号:CN201810127088.1

    申请日:2018-02-08

    Abstract: 本发明提供从系统日志中提取特征向量的方法,构建系统日志分类模型的方法以及系统日志分类方法。提取特征向量的方法包括:对每个类别,计算该类别关键字与系统日志的语义相似度,选取一些相似度作为系统日志在该类别下的特征向量;组合系统日志在所有类别下的特征向量以得到该系统日志的特征向量。构建模型的方法利用上述方法来提取训练数据集的特征向量,并将其作为卷积神经网络的输入以训练模型。系统日志分类方法利用上述方法来提取系统日志的特征向量,并通过模型得到分类结果。本发明可以实现高准确率和高时效的系统日志分类。

    一种检测spark集群节点状态的方法

    公开(公告)号:CN108491302B

    公开(公告)日:2020-07-31

    申请号:CN201810144628.7

    申请日:2018-02-12

    Abstract: 本发明提供了一种构建spark集群节点状态检测模型的方法。该方法包括:根据spark集群中节点运行特征数据与节点状态的关联性,获得由多组分析数据构成的样本点数据集,其中,每组分析数据包括节点运行特征数据和相应的节点状态;基于所述样本点数据集,以所述节点运行特征数据作为输入训练分类模型,获得spark集群节点状态检测模型。利用本发明提供的建spark集群节点状态检测模型能够准确有效的预测由于性能异常导致处于异常状态的节点。

    一种基于日志的故障指标自动标注方法与系统

    公开(公告)号:CN107301118B

    公开(公告)日:2019-11-19

    申请号:CN201710450900.X

    申请日:2017-06-15

    Abstract: 本发明涉及一种基于日志的故障指标自动标注系统与方法,包括:根据系统日志的事件等级筛选出失效/故障日志,根据每条失效/故障日志的信息内容为每条失效/故障日志分配失效/故障类别,根据每类失效/故障类别确定性能指标数据的有效时间窗口;对每类失效/故障类别的有效时间窗口对应的所有性能指标数据进行建模,构建故障指标模型;根据故障指标模型对性能指标数据进行自动标注性能指标数据是否为故障指标。本发明可减少人工标注故障指标的耗时耗力,节省时间和人力资源,减少工作量,方便管理员快速排查系统故障、进行故障诊断,还可根据指标的特征估计出某时间段内系统是否处于某种故障/失效状态,方便及时采取相应措施。

    一种通过加权熵判断分布式集群可靠度的方法和系统

    公开(公告)号:CN107590008B

    公开(公告)日:2019-11-15

    申请号:CN201710651527.4

    申请日:2017-08-02

    Abstract: 本发明涉及一种通过加权熵判断分布式集群可靠度的方法和系统,属于分布式集群可靠性领域,通过预先为不同严重性的日志事件分别进行赋权,然后利用滑动窗口统计该时段内集群各节点的不同类型系统日志数量,进而计算各节点的错误率,并根据该错误率计算集群的可靠性加权熵,最后根据波动大小判断集群稳定性。通过该方法量化了系统可靠性,不但可以通过简单部署就能对整个集群的可靠性进行量化判定,而且还可对集群的稳定程度进行实时监控,及时了解集群的环境变化,当集群的可靠性出现较大波动时可及时采取相应措施处理。

    一种检测spark集群节点状态的方法

    公开(公告)号:CN108491302A

    公开(公告)日:2018-09-04

    申请号:CN201810144628.7

    申请日:2018-02-12

    Abstract: 本发明提供了一种构建spark集群节点状态检测模型的方法。该方法包括:根据spark集群中节点运行特征数据与节点状态的关联性,获得由多组分析数据构成的样本点数据集,其中,每组分析数据包括节点运行特征数据和相应的节点状态;基于所述样本点数据集,以所述节点运行特征数据作为输入训练分类模型,获得spark集群节点状态检测模型。利用本发明提供的建spark集群节点状态检测模型能够准确有效的预测由于性能异常导致处于异常状态的节点。

    系统日志分类方法
    10.
    发明公开

    公开(公告)号:CN108427720A

    公开(公告)日:2018-08-21

    申请号:CN201810127088.1

    申请日:2018-02-08

    Abstract: 本发明提供从系统日志中提取特征向量的方法,构建系统日志分类模型的方法以及系统日志分类方法。提取特征向量的方法包括:对每个类别,计算该类别关键字与系统日志的语义相似度,选取一些相似度作为系统日志在该类别下的特征向量;组合系统日志在所有类别下的特征向量以得到该系统日志的特征向量。构建模型的方法利用上述方法来提取训练数据集的特征向量,并将其作为卷积神经网络的输入以训练模型。系统日志分类方法利用上述方法来提取系统日志的特征向量,并通过模型得到分类结果。本发明可以实现高准确率和高时效的系统日志分类。

Patent Agency Ranking