一种检测spark集群节点状态的方法

    公开(公告)号:CN108491302B

    公开(公告)日:2020-07-31

    申请号:CN201810144628.7

    申请日:2018-02-12

    Abstract: 本发明提供了一种构建spark集群节点状态检测模型的方法。该方法包括:根据spark集群中节点运行特征数据与节点状态的关联性,获得由多组分析数据构成的样本点数据集,其中,每组分析数据包括节点运行特征数据和相应的节点状态;基于所述样本点数据集,以所述节点运行特征数据作为输入训练分类模型,获得spark集群节点状态检测模型。利用本发明提供的建spark集群节点状态检测模型能够准确有效的预测由于性能异常导致处于异常状态的节点。

    一种基于日志的故障指标自动标注方法与系统

    公开(公告)号:CN107301118B

    公开(公告)日:2019-11-19

    申请号:CN201710450900.X

    申请日:2017-06-15

    Abstract: 本发明涉及一种基于日志的故障指标自动标注系统与方法,包括:根据系统日志的事件等级筛选出失效/故障日志,根据每条失效/故障日志的信息内容为每条失效/故障日志分配失效/故障类别,根据每类失效/故障类别确定性能指标数据的有效时间窗口;对每类失效/故障类别的有效时间窗口对应的所有性能指标数据进行建模,构建故障指标模型;根据故障指标模型对性能指标数据进行自动标注性能指标数据是否为故障指标。本发明可减少人工标注故障指标的耗时耗力,节省时间和人力资源,减少工作量,方便管理员快速排查系统故障、进行故障诊断,还可根据指标的特征估计出某时间段内系统是否处于某种故障/失效状态,方便及时采取相应措施。

    一种通过加权熵判断分布式集群可靠度的方法和系统

    公开(公告)号:CN107590008B

    公开(公告)日:2019-11-15

    申请号:CN201710651527.4

    申请日:2017-08-02

    Abstract: 本发明涉及一种通过加权熵判断分布式集群可靠度的方法和系统,属于分布式集群可靠性领域,通过预先为不同严重性的日志事件分别进行赋权,然后利用滑动窗口统计该时段内集群各节点的不同类型系统日志数量,进而计算各节点的错误率,并根据该错误率计算集群的可靠性加权熵,最后根据波动大小判断集群稳定性。通过该方法量化了系统可靠性,不但可以通过简单部署就能对整个集群的可靠性进行量化判定,而且还可对集群的稳定程度进行实时监控,及时了解集群的环境变化,当集群的可靠性出现较大波动时可及时采取相应措施处理。

    计算机指令处理方法、协处理器和系统

    公开(公告)号:CN106325819B

    公开(公告)日:2019-08-02

    申请号:CN201510336409.5

    申请日:2015-06-17

    Abstract: 本发明实施例公开了一种计算机指令处理方法、协处理器和系统;所述计算机指令处理方法包括:协处理器接收中央处理器CPU迁移的第一指令集,根据适于CPU执行的第一指令集获取在协处理器执行的第二指令集,执行所述第二指令集中的二进制代码。这样,由协处理器执行第二指令集代替由CPU执行第一指令集,减小CPU的负荷,提高协处理器的使用率。

    远程资源访问方法和交换设备

    公开(公告)号:CN105491082B

    公开(公告)日:2019-02-19

    申请号:CN201410471932.4

    申请日:2014-09-16

    Abstract: 本发明实施例提供一种远程资源访问方法和交换设备,能够实现本地计算机系统与远端的物理资源设备之间的数据传输且实现远端的物理资源设备以中断的方式访问计算机系统。其方法为:计算机系统访问远端的物理资源设备时,首先将虚拟资源设备的第一访问消息中的虚拟地址转换为对应的远端的物理资源设备的物理地址,生成第二访问消息,并将该访问消息通过网络发送至物理地址对应的远端的物理资源设备,从而实现本地计算机系统与远端的物理资源设备之间的数据传输。

    异构硬件中大数据处理的方法及装置

    公开(公告)号:CN105630690B

    公开(公告)日:2018-10-12

    申请号:CN201410608826.6

    申请日:2014-10-31

    Abstract: 本发明实施例公开了一种异构硬件中大数据处理的方法及装置,涉及通信技术领域,能够解决异构硬件处理大数据应用,载入的数据与程序运行所需的数据不一致,占用异构硬件的内存,并影响到程序的正常运行的问题。本发明的方法包括:接收所述Host发送的程序和地址信息;建立本地存储所述源数据的虚拟地址与所述地址信息的映射关系;当所述异构硬件运行所述程序过程中调用目标数据时,向所述Host发送目标数据请求;在接收所述Host回复的目标数据后,使用所述目标数据运行所述程序。本发明适用于异构硬件。

    一种检测spark集群节点状态的方法

    公开(公告)号:CN108491302A

    公开(公告)日:2018-09-04

    申请号:CN201810144628.7

    申请日:2018-02-12

    Abstract: 本发明提供了一种构建spark集群节点状态检测模型的方法。该方法包括:根据spark集群中节点运行特征数据与节点状态的关联性,获得由多组分析数据构成的样本点数据集,其中,每组分析数据包括节点运行特征数据和相应的节点状态;基于所述样本点数据集,以所述节点运行特征数据作为输入训练分类模型,获得spark集群节点状态检测模型。利用本发明提供的建spark集群节点状态检测模型能够准确有效的预测由于性能异常导致处于异常状态的节点。

    系统日志分类方法
    78.
    发明公开

    公开(公告)号:CN108427720A

    公开(公告)日:2018-08-21

    申请号:CN201810127088.1

    申请日:2018-02-08

    Abstract: 本发明提供从系统日志中提取特征向量的方法,构建系统日志分类模型的方法以及系统日志分类方法。提取特征向量的方法包括:对每个类别,计算该类别关键字与系统日志的语义相似度,选取一些相似度作为系统日志在该类别下的特征向量;组合系统日志在所有类别下的特征向量以得到该系统日志的特征向量。构建模型的方法利用上述方法来提取训练数据集的特征向量,并将其作为卷积神经网络的输入以训练模型。系统日志分类方法利用上述方法来提取系统日志的特征向量,并通过模型得到分类结果。本发明可以实现高准确率和高时效的系统日志分类。

    一种系统服务动态部署方法及装置

    公开(公告)号:CN104834565B

    公开(公告)日:2018-08-14

    申请号:CN201410049189.3

    申请日:2014-02-12

    Abstract: 本发明实施例提供了一种系统服务动态部署方法及装置,涉及计算机领域,能够检测当前应用的执行状态,实现多内核操作系统中系统服务动态负载均衡,细粒度的将任务调配到适合其运行的硬件上,在任务的运行过程中动态调整资源分配。该方法包括:获取系统服务内核及应用内核的检测信息,检测信息包括系统服务内核的当前执行状态信息、应用内核的当前执行状态信息以及当前应用的拓扑位置数据;根据检测信息,采用预设方案,获得对应于当前应用的最优拓扑方案,最优拓扑方案用于指示当前应用的系统服务内核和/或应用内核的执行交互路径;根据最优拓扑方案,调整执行当前应用的系统服务内核和/或应用内核。

Patent Agency Ranking