基于Yarn框架的资源共享控制系统

    公开(公告)号:CN103593242B

    公开(公告)日:2017-04-05

    申请号:CN201310482150.6

    申请日:2013-10-15

    Abstract: 本发明提供一种基于Yarn框架的资源共享控制系统,该控制系统包括:客户端、资源管理模块、至少一个应用管理模块和资源调度模块;其中,所述资源管理模块可根据所述客户端发送的第一任务请求,启动对应于所述任务标识的应用管理模块,并向所述应用管理模块发送所述第一任务请求;所述应用管理模块用于根据所述资源需求信息向所述资源调度模块申请运行所述第一任务所需的可用资源;所述资源调度模块用于向所述第一任务提供所述可用资源,所述可用资源与共享资源中的其他资源具有隔离性。通过本发明提供的资源共享的控制方法和系统,可优化任务对共享资源的使用,避免任务之间出现的资源竞争及性能干扰。

    SDN网络拓扑的生成方法和装置

    公开(公告)号:CN105634962A

    公开(公告)日:2016-06-01

    申请号:CN201610045701.6

    申请日:2016-01-22

    CPC classification number: H04L45/02

    Abstract: 本发明提供了一种SDN网络拓扑的生成方法和装置,该方法包括:监测在当前网络中是否增加了虚拟机或第一交换机;若监测到当前网络中增加了虚拟机或第一交换机,则触发对应的事件,以捕捉与虚拟机或第一交换机连接的第二交换机的地址信息和接入端口信息;获取虚拟机的地址信息或第一交换机的地址信息、接入端口信息;根据虚拟机的地址信息和第二交换机的地址信息、接入端口信息,生成第一添加拓扑数据表,或者,根据第一交换机的地址信息、接入端口信息和第二交换机的地址信息、接入端口信息生成第二添加拓扑数据表;根据第一添加拓扑数据表或第二添加拓扑数据表,生成更新后的SDN网络拓扑。

    一种面向在线训练的算力资源弹性分配系统

    公开(公告)号:CN119166278A

    公开(公告)日:2024-12-20

    申请号:CN202411187004.5

    申请日:2024-08-28

    Abstract: 本公开提供一种面向在线训练的算力资源弹性分配系统。包括用户端、集群资源管理器、弹性调度器以及使用待分配的GPU的工作节点,弹性调度器包括三个组件:工作负载预测器、工作节点估计器和在线学习自动伸缩器;工作节点估计器在对未来的工作负载预测的基础上,采用一个资源吞吐量模型来确定分布式训练最合适的工作节点数量;在线学习自动伸缩器对工作节点进行扩展或缩减,并在通过集群资源管理器的后续审批后,为工作节点分配更多的GPU或将GPU回收到资源池中。借此,本公开实现了更好地保证在线训练模型的性能和更加节约算力资源的效果。

    一种面向深度推荐系统训练任务的资源调度方法和系统

    公开(公告)号:CN117492997A

    公开(公告)日:2024-02-02

    申请号:CN202311476475.3

    申请日:2023-11-08

    Abstract: 本发明实现了一种面向深度推荐系统训练任务的资源调度方法和系统。首先由用户提交训练任务并指定数据集,根据任务模型定义与数据库创建Pod模型,进而根据Pod模型定义,预测任务GPU资源需求,并根据资源需求预测结果,执行调度算法;所述调度算法为GPU最小争用共享资源算法和面向训练数据依赖低延迟优化的调度策略,综合两种调度算法选定Pod指定节点,之后将Pod绑定至对应节点进行训练数据缓存;之后运行Pod,如果成功运行结束,则结束资源调度过程,否则重新根据任务模型定义与数据库创建Pod模型。能够实现面向深度推荐训练任务资源需求预测和有效的资源调度。

    一种实现大规模容器快速部署的方法

    公开(公告)号:CN107729020B

    公开(公告)日:2020-08-28

    申请号:CN201710939453.4

    申请日:2017-10-11

    Abstract: 本发明提出一种实现大规模容器快速部署的方法,采用块存储服务RBD将集群中所有镜像的数据存储于网络存储中,在所述RBD中,容器镜像以分层结构存储,每个镜像对应一个Ceph块设备,其中父镜像和子镜像之间的冗余数据被剔除,对父Ceph块设备做快照,然后克隆快照,生成与做快照时的父块设备相同的块设备作为子Ceph块设备,所述Ceph块设备的写时拷贝粒度是对象,所述对象为Ceph中的基本存储单元,容器部署的仓库仅作为一个元数据服务器,其中只存储了镜像列表、镜像的层次信息和镜像层与Ceph块设备之间的映射关系。

    一种云环境下面向移动终端的软件远程执行系统

    公开(公告)号:CN103595762B

    公开(公告)日:2017-04-05

    申请号:CN201310482064.5

    申请日:2013-10-15

    Abstract: 本发明提供一种云环境下面向移动终端的软件远程执行系统,通过第一移动终端漫游出云基站的覆盖范围时,云基站向云中心发送第一虚拟机的部署信息,云中心根据第一虚拟机的部署信息,将第一虚拟机迁移至云中心,以使第一移动终端利用迁移至云中心的第一虚拟机继续执行在云基站执行的第一应用程序操作,以及存在从云中心漫游至云基站的覆盖范围的第二移动终端时,云基站迁移获取云中心的第二虚拟机,以使第二移动终端利用迁移获取的第二虚拟机,继续执行在云中心执行的第二应用程序操作,解决了当移动终端进行漫游时,应用程序操作不连续,需要重新执行应用程序操作导致效率较低的技术问题。

    虚拟数据中心节能调度方法和设备

    公开(公告)号:CN103823541A

    公开(公告)日:2014-05-28

    申请号:CN201210466046.3

    申请日:2012-11-16

    CPC classification number: Y02D10/24 Y02D10/26 Y02D10/28

    Abstract: 本发明提供一种虚拟数据中心节能调度方法和设备。方法包括:获取数据中心中各物理节点的能耗数据和各物理节点的系统信息,根据各物理节点的能耗数据和各物理节点的系统信息,得到各物理节点中各耗能器件的使用率与能耗之间的映射关系,根据各物理节点中各耗能器件的使用率与能耗之间的映射关系以及各物理节点上部署的虚拟机的可用资源,生成节能调度算法,根据该算法对部署在物理节点上虚拟机进行迁移处理,以减小数据中心的总能耗。本发明通过采集每个物理节点的能耗数据和系统信息,得到上述映射关系,以制定节能调度算法对物理节点中的虚拟机进行迁移处理,使部署有虚拟机的物理节点的资源利用率达到最大化,以降低数据中心的能耗。

    基于Yarn框架的资源共享控制系统

    公开(公告)号:CN103593242A

    公开(公告)日:2014-02-19

    申请号:CN201310482150.6

    申请日:2013-10-15

    Abstract: 本发明提供一种基于Yarn框架的资源共享控制系统,该控制系统包括:客户端、资源管理模块、至少一个应用管理模块和资源调度模块;其中,所述资源管理模块可根据所述客户端发送的第一任务请求,启动对应于所述任务标识的应用管理模块,并向所述应用管理模块发送所述第一任务请求;所述应用管理模块用于根据所述资源需求信息向所述资源调度模块申请运行所述第一任务所需的可用资源;所述资源调度模块用于向所述第一任务提供所述可用资源,所述可用资源与共享资源中的其他资源具有隔离性。通过本发明提供的资源共享的控制方法和系统,可优化任务对共享资源的使用,避免任务之间出现的资源竞争及性能干扰。

    计算机集群的资源调度方法及系统

    公开(公告)号:CN105468458B

    公开(公告)日:2019-04-19

    申请号:CN201510846500.1

    申请日:2015-11-26

    Abstract: 本发明提供一种计算机集群的资源调度方法及系统,所述方法包括:监控计算节点运行的负载在第t个资源分配周期内的资源占用量及计算节点的空余资源量;根据监控获得的负载在第t个资源分配周期内的资源占用量预测各个负载在第t+1个资源分配周期内的资源占用量;根据预测得到的负载在所述第t+1个资源分配周期内的资源占用量及监控得到的空余资源量确定所述计算节点在所述第t+1个资源分配周期内的可用资源量;将所述计算节点在所述第t+1个资源分配周期内的可用资源量发送给资源管理器,使资源管理器根据所述可用资源量分配资源。本发明提供的计算机集群的资源调度方法及系统,能够提高所述计算节点的资源利用率及负载的服务质量。

Patent Agency Ranking