一种面向效率的截止期限感知的深度学习训练任务调度方法和系统

    公开(公告)号:CN115033360A

    公开(公告)日:2022-09-09

    申请号:CN202210554466.0

    申请日:2022-05-20

    Abstract: 本发明公开了一种面向效率的截止期限感知的深度学习训练任务调度方法和系统。本方法主要包括深度学习训练任务运行时间估算和深度学习训练任务调度优化两个步骤,首先使用基于阈值的自适应采样技术,得到深度学习训练任务运行时间的准确估算结果,然后将异构GPU集群中的调度问题转化成各GPU上的任务排列的搜索问题,搜索得到满足调度目标的优化调度结果,并通过多种剪枝方法,降低搜索空间。与现有技术相比,本发明创新性提出了调度目标的统一表达形式,能够同时满足最小化任务的截止期限违反量和总体任务完成时间的调度目标,能够对深度学习任务进行高效的调度,从而有利于提高任务在异构GPU集群部署运行的效率。

    一种面向持续集成的服务版本动态配置方法

    公开(公告)号:CN112394949B

    公开(公告)日:2022-04-22

    申请号:CN202011412434.4

    申请日:2020-12-03

    Abstract: 本发明公开了一种面向持续集成的服务版本动态配置方法,其步骤包括:1)根据目标系统选取多个编译打包软件工具;2)对于每一所选编译打包软件工具,构造一持续集成与交付的流水线作业模板;3)收集该目标系统的各类型配置文件,得到源码配置集合A;4)计算每一工具对应的配置集合与集合A的相似度;调用相似度最高的配置集合对应的流水线作业模板i;5)利用模板i解析集合A构建有向带权图;6)计算有向带权图中每一顶点与其他顶点之间的最短关键路径存储为顺序表;7)若两顺序表经过同一个顶点P,则生成顶点P的关键路径不重合的往前路径集合;8)将同一个路径集合内的关键路径设置为并行执行、不同路径集合内的路径按照生成顺序执行。

    一种基于服务调用追踪的异构服务集成方法

    公开(公告)号:CN111913713A

    公开(公告)日:2020-11-10

    申请号:CN202010522724.8

    申请日:2020-06-10

    Abstract: 本发明公开了一种基于服务调用追踪的异构服务集成方法,其步骤包括:1)根据设定服务厂商的API的名称、版本和位置信息,收集各设定服务厂商的API语义信息;2)基于获取的API语义信息解析输入的DSL配置文件,得到泛化API与设定服务厂商API之间的映射规则;3)基于有序树构造算法对步骤2)处理后的DSL配置文件进行处理,得到基于有序树的API集成。本发明在异构环境中迁移时不需要重新编译,可以在运行时直接修改或按照策略更新,这种智能方法可以无缝对接新版本API,解决API同步问题,能够支持电子商务、互联网金融等实时性要求较高的场景。

    一种支持优先级和反亲和的云优化调度方法及系统

    公开(公告)号:CN110515716A

    公开(公告)日:2019-11-29

    申请号:CN201910804898.0

    申请日:2019-08-29

    Abstract: 本发明提供一种支持优先级和反亲和的云优化调度方法,用于克服现有云调度系统对任务的反亲和约束以及优先级约束无法有效满足的问题,主要通过任务集群信息的反亲和与优先级表示,转化为统一格式的图模型语言,对最大流图进行求解,按照求出优化解进行任务部署。本方法具有多维资源表示与扩展性好的特点,能够提升当前云优化调度管理中对任务和物理资源间约束的满足能力,同时提供更多的任务调度机会。本发明还提供一种支持优先级和反亲和的云优化调度系统,包括云集群管理器、反亲和规则解析器、优先级规则解析器、优化调度模型生成器和优化调度模型求解器。

    一种基于最小费用最大流的大规模资源调度系统及方法

    公开(公告)号:CN106708625A

    公开(公告)日:2017-05-24

    申请号:CN201611121847.0

    申请日:2016-12-08

    Abstract: 本发明涉及一种基于最小费用最大流的大规模资源调度系统及方法,任务状态表,接收并保存用户提交的任务状态,包括任务的CPU使用率、内存使用率、网络I/O、磁盘I/O和优先级;集群状态表,保存集群状态信息,包括集群CPU使用率、内存使用率、网络和磁盘I/O,在集群状态发生变化时对集群状态表进行更新;调度目标表:存储用户配置的调度目标,目前包括优先级、放置约束及公平性;最小费用最大流构造器,根据任务状态表和集群状态表信息,从调度目标表选择调度目标,构造最小费用最大流图;最小费用最大流求解器,采用增量式算法对最小费用最大流构造器构造的最小费用最大流图进行求解;任务执行器,负责任务的具体执行。本发明满足了实际业务场景灵活性需求。

    一种基于信任度的访问控制方法及其系统

    公开(公告)号:CN102664888B

    公开(公告)日:2015-08-26

    申请号:CN201210116988.9

    申请日:2012-04-19

    Abstract: 本发明公开了一种基于信任度的访问控制方法及其系统,属于计算机访问控制领域。本方法为:1)建立一角色-信任度描述模型,2)对于某自治域B中的每一角色r,确定其与其他自治域A中角色映射到角色r映射关系,使A中角色到B角色映射满足满射关系;3)根据映射关系将角色r的权限集合划分到不同的子权限集合中;将划分后的子集合关联到相应的信任度值上;4)当A中主体角色访问B中资源时,首先分析访问主体角色信息,然后将其映射到自治域B中的角色,并获取信任值;5)自治域B根据该访问主体角色的角色信息和信任度值,确定本次访问请求所具有的资源访问权限。本发明有效弥补了传统角色访问控制无法适用分布式协同开发环境的不足。

    一种基于统计监测的云应用故障诊断系统

    公开(公告)号:CN103986625A

    公开(公告)日:2014-08-13

    申请号:CN201410234588.7

    申请日:2014-05-29

    Abstract: 一种基于统计监测的云应用故障诊断系统,包括:监测代理、运行状态跟踪器、故障检测与定位器,其中,监测代理:用于搜集云应用运行时的监测信息;运行状态跟踪器:用于将系统运行状态抽象为局部离群因子与关联系数;故障检测与定位器:用于根据运行状态跟踪器提供的监测数据分析系统运行状态以检测故障并定位问题原因。本发明根据监测数据利用局部离群因子与核典型关联分析的方法从系统资源利用和性能表现方面刻画系统运行状态,利用控制图检测系统故障,利用特征选择的方法定位异常度量。本发明具有无需软件体系结构和参数估算等应用相关知识,简单易于实施,适用范围广的优点。能够无需人工参与的自动检测云应用的多种故障,并量化度量的异常程度。

    一种基于角色的高可用虚拟机池化管理系统

    公开(公告)号:CN103457775A

    公开(公告)日:2013-12-18

    申请号:CN201310398784.3

    申请日:2013-09-05

    Abstract: 一种基于角色的高可用虚拟机池化管理系统,所述虚拟机池化管理方法中包括主节点即master节点、从节点即slave节点和备份节点即backup节点;master节点是虚拟机资源池的唯一逻辑入口,负责管理资源池中的所有节点;slave节点主要负责本节点的虚拟机生命周期的管理;backup节点用于备份master节点的状态信息,保证与master节点的状态信息一致,并在master节点失效时接管其工作;所述虚拟机池化管理过程中各个节点会随着不同条件在三种角色,即master节点、从节点slave和备份节点backup中转换;通过序列法保障系统中只有一个master节点和备份节点,以及通过双向异步通信机制来保障master节点和备份节点的数据一致性。本发明提高了虚拟化系统的可靠性以及管理的灵活性。

    基于机器学习的分布式缓存策略自适应切换方法及系统

    公开(公告)号:CN102227121B

    公开(公告)日:2013-10-09

    申请号:CN201110167018.7

    申请日:2011-06-21

    Abstract: 本发明涉及一种基于机器学习的分布式缓存策略自适应切换方法及其系统。基于基准测试对各缓存策略进行评价,确定影响缓存策略性能表现的场景要素;分别在不同场景要素条件下收集各缓存策略的数据集;训练该数据集得到缓存性能模型;基于缓存性能模型与集群环境下的在线监测数据决策最优缓存策略,在当前缓存策略与最优策略不一致时执行缓存策略切换。本发明采用机器学习的方法建立可以准确刻画当前场景的缓存性能模型,并通过构建性能数据仓库周期性的更新该模型,进一步提高了模型的精度,可以较好的适应环境的动态变化,增强缓存服务的柔性和自适应性。

Patent Agency Ranking