-
公开(公告)号:CN103414649A
公开(公告)日:2013-11-27
申请号:CN201310320221.2
申请日:2013-07-26
Applicant: 中国科学院计算技术研究所
IPC: H04L12/801 , H04L29/08 , H04L29/06
Abstract: 本发明公开了一种分布式负载发生器的实现方法及其系统,该方法包括:步骤1,负载控制器根据从Web服务器获取的信息进行trace解析,形成trace列表;步骤2,负载控制器设定参数,并根据该参数对所述trace列表进行trace分组变换;步骤3,负载控制器对分组变换后的trace列表分配给负载发生器;步骤4,负载发生器重放负载。本发明利用Web请求的特征,进行空间分片,实现了负载的精确重放。
-
公开(公告)号:CN103294550A
公开(公告)日:2013-09-11
申请号:CN201310206533.0
申请日:2013-05-29
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及一种异构多核线程调度方法,包括根据程序的动态特征分别为线程和核生成排序列表,并根据排序列表找出线程和核的最优的稳定匹配,根据该稳定匹配进行线程调度。包括接收运行在该核的线程的特征向量,并据其为该线程给各个核进行选择一个优先级排序;为各个核对各个线程进行排序;接收各个线程和核的排序列表,并找出线程和核的稳定匹配结果;接收该匹配结果,通过操作系统进行调度,将各个线程分配到相应的核上运行。避免了抽样调度带来的巨大开销;将更多影响性能功耗的复杂因素考虑在内,只需要预测的相对关系而非具体值,降低了模型的复杂度的同时也提高了调度的精确性。
-
公开(公告)号:CN101968747B
公开(公告)日:2013-05-08
申请号:CN201010286186.3
申请日:2010-09-17
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及一种机群应用管理系统,该系统包括执行引擎模块和数据库模块,数据库模块用于实时地存储各应用的处理结果,并建立监控表,所述监控表中记录多个应用的所有关联应用的处理结果的改变信息;执行引擎模块用于执行机群系统中的各个应用,并将各应用的处理结果实时地写入数据库模块,还用于按照所设定的周期定期读取数据库模块中的所述监控表,每次读取所述监控表后根据所读取的多个应用的处理结果的改变信息,分别判断各应用的触发条件是否已满足,并在触发条件满足时触发相应的应用。本发明还提供了相应的机群应用管理方法。本发明能够减少数据库访问连接数,降低开销;能够处理应用间各种复杂逻辑关系;更加便于管理和操作。
-
公开(公告)号:CN1547119A
公开(公告)日:2004-11-17
申请号:CN200310117036.X
申请日:2003-12-04
Applicant: 中国科学院计算技术研究所
IPC: G06F11/30
Abstract: 一种构造大规模高可用机群操作系统的方法,该方法将机群系统分为多个物理分区,每个物理分区安装一个管理进程装置,而每个节点上都安装有一个本地侦测进程装置。本地侦测进程装置通过所有的网络向本分区内的管理进程装置发送心跳,而管理进程装置根据接收到的心跳的信息获得所在节点的网络状态和节点运行状态,从而对分区进行集中式监控和统一管理。每个分区的管理进程装置之间采用分布式结构,它们在逻辑上完全对等,一起协同工作,并保持机群所有节点运行状态和网络状态的一致视图。该方法不仅能够提供大规模机群的节点和网络状态信息,并且能为机群系统软件和充分利用机群特性的商业应用软件提供高可用服务支持。
-
公开(公告)号:CN108427720B
公开(公告)日:2020-12-29
申请号:CN201810127088.1
申请日:2018-02-08
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供从系统日志中提取特征向量的方法,构建系统日志分类模型的方法以及系统日志分类方法。提取特征向量的方法包括:对每个类别,计算该类别关键字与系统日志的语义相似度,选取一些相似度作为系统日志在该类别下的特征向量;组合系统日志在所有类别下的特征向量以得到该系统日志的特征向量。构建模型的方法利用上述方法来提取训练数据集的特征向量,并将其作为卷积神经网络的输入以训练模型。系统日志分类方法利用上述方法来提取系统日志的特征向量,并通过模型得到分类结果。本发明可以实现高准确率和高时效的系统日志分类。
-
公开(公告)号:CN108491302B
公开(公告)日:2020-07-31
申请号:CN201810144628.7
申请日:2018-02-12
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供了一种构建spark集群节点状态检测模型的方法。该方法包括:根据spark集群中节点运行特征数据与节点状态的关联性,获得由多组分析数据构成的样本点数据集,其中,每组分析数据包括节点运行特征数据和相应的节点状态;基于所述样本点数据集,以所述节点运行特征数据作为输入训练分类模型,获得spark集群节点状态检测模型。利用本发明提供的建spark集群节点状态检测模型能够准确有效的预测由于性能异常导致处于异常状态的节点。
-
公开(公告)号:CN107590008B
公开(公告)日:2019-11-15
申请号:CN201710651527.4
申请日:2017-08-02
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及一种通过加权熵判断分布式集群可靠度的方法和系统,属于分布式集群可靠性领域,通过预先为不同严重性的日志事件分别进行赋权,然后利用滑动窗口统计该时段内集群各节点的不同类型系统日志数量,进而计算各节点的错误率,并根据该错误率计算集群的可靠性加权熵,最后根据波动大小判断集群稳定性。通过该方法量化了系统可靠性,不但可以通过简单部署就能对整个集群的可靠性进行量化判定,而且还可对集群的稳定程度进行实时监控,及时了解集群的环境变化,当集群的可靠性出现较大波动时可及时采取相应措施处理。
-
公开(公告)号:CN108491302A
公开(公告)日:2018-09-04
申请号:CN201810144628.7
申请日:2018-02-12
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供了一种构建spark集群节点状态检测模型的方法。该方法包括:根据spark集群中节点运行特征数据与节点状态的关联性,获得由多组分析数据构成的样本点数据集,其中,每组分析数据包括节点运行特征数据和相应的节点状态;基于所述样本点数据集,以所述节点运行特征数据作为输入训练分类模型,获得spark集群节点状态检测模型。利用本发明提供的建spark集群节点状态检测模型能够准确有效的预测由于性能异常导致处于异常状态的节点。
-
公开(公告)号:CN108427720A
公开(公告)日:2018-08-21
申请号:CN201810127088.1
申请日:2018-02-08
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供从系统日志中提取特征向量的方法,构建系统日志分类模型的方法以及系统日志分类方法。提取特征向量的方法包括:对每个类别,计算该类别关键字与系统日志的语义相似度,选取一些相似度作为系统日志在该类别下的特征向量;组合系统日志在所有类别下的特征向量以得到该系统日志的特征向量。构建模型的方法利用上述方法来提取训练数据集的特征向量,并将其作为卷积神经网络的输入以训练模型。系统日志分类方法利用上述方法来提取系统日志的特征向量,并通过模型得到分类结果。本发明可以实现高准确率和高时效的系统日志分类。
-
公开(公告)号:CN107590008A
公开(公告)日:2018-01-16
申请号:CN201710651527.4
申请日:2017-08-02
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及一种通过加权熵判断分布式集群可靠度的方法和系统,属于分布式集群可靠性领域,通过预先为不同严重性的日志事件分别进行赋权,然后利用滑动窗口统计该时段内集群各节点的不同类型系统日志数量,进而计算各节点的错误率,并根据该错误率计算集群的可靠性加权熵,最后根据波动大小判断集群稳定性。通过该方法量化了系统可靠性,不但可以通过简单部署就能对整个集群的可靠性进行量化判定,而且还可对集群的稳定程度进行实时监控,及时了解集群的环境变化,当集群的可靠性出现较大波动时可及时采取相应措施处理。
-
-
-
-
-
-
-
-
-