一种大规模分布式系统的智能监控与管理方法及系统

    公开(公告)号:CN109587217A

    公开(公告)日:2019-04-05

    申请号:CN201811314109.7

    申请日:2018-11-06

    Abstract: 本发明公开了一种大规模分布式系统的智能监控与管理方法及系统,包括:S1.任务进入分布式系统时,初始化任务的QoS调控参数;S2.根据QoS调控参数进行任务调度;S3.判断所有任务是否全部运行完成,若是,结束,否则,进入步骤S4;S4.采集分布式系统信息和任务信息,并将其反馈给QoS调控参数预测模型;S5.判断QoS调控参数预测模型是否训练完成,若是,根据反馈信息,使用训练好的模型预测出新的QoS调控参数;否则,根据反馈信息训练QoS调控参数预测模型的同时,输出临时QoS调控参数;更新任务的QoS调控参数,返回步骤S2。本发明通过智能优选与实时反馈机制相结合,对大规模分布式系统的任务实现了高效实时调度和管理,实现了对任务进行细粒度的资源配置和调度。

    一种I/O拥塞控制方法及控制系统

    公开(公告)号:CN109471847A

    公开(公告)日:2019-03-15

    申请号:CN201811083583.3

    申请日:2018-09-18

    Abstract: 本发明公开了一种I/O拥塞控制方法及系统,包括:在服务端获得当前观测时间戳下各节点上报的性能指标数据并预处理,作为观测数据;通过聚类分析得到当前负载类别,并由此将观测数据存储到重放数据库中;分别从重放数据库和观测数据中随机提取多条历史性能指标数据,以得到训练数据集;构建基于神经网络的回报奖励值计算模型,并利用训练数据集训练回报奖励值计算模型;选定一个调控动作,并利用回报奖励值计算模型计算相应的回报奖励值;重复此步骤,以获得最大的回报奖励值所对应的目标调控动作;将目标调控动作广播至所有节点,以由此设置各节点的参数。本发明能够在避免集群产生I/O拥塞,同时提高系统I/O吞吐率并降低可控I/O延迟。

    一种I/O拥塞控制方法及控制系统

    公开(公告)号:CN109471847B

    公开(公告)日:2020-06-09

    申请号:CN201811083583.3

    申请日:2018-09-18

    Abstract: 本发明公开了一种I/O拥塞控制方法及系统,包括:在服务端获得当前观测时间戳下各节点上报的性能指标数据并预处理,作为观测数据;通过聚类分析得到当前负载类别,并由此将观测数据存储到重放数据库中;分别从重放数据库和观测数据中随机提取多条历史性能指标数据,以得到训练数据集;构建基于神经网络的回报奖励值计算模型,并利用训练数据集训练回报奖励值计算模型;选定一个调控动作,并利用回报奖励值计算模型计算相应的回报奖励值;重复此步骤,以获得最大的回报奖励值所对应的目标调控动作;将目标调控动作广播至所有节点,以由此设置各节点的参数。本发明能够在避免集群产生I/O拥塞,同时提高系统I/O吞吐率并降低可控I/O延迟。

Patent Agency Ranking