一种基于带宽感知的Hadoop调度方法和系统

    公开(公告)号:CN104102533A

    公开(公告)日:2014-10-15

    申请号:CN201410270693.6

    申请日:2014-06-17

    Abstract: 本发明公开了一种基于带宽感知的Hadoop调度方法,包括:对Hadoop任务调度建立一个作业时间完成模型,为Hadoop调度系统建立一个数学模型,将Hadoop的任务调度问题转化为一个为待调度的作业寻找一个使得该作业的作业完成时间最短的任务调度方法的问题;利用SDN提供的实时网络管理与流量控制功能,提出了一种基于时隙的网络带宽分配机制,将每一条链路的剩余带宽的占用期划分为相等的时隙,在作业完成时间模型和网络时隙带宽分配机制的基础之上;在为某个任务分配计算节点之前,综合考虑任务的本地性与实施网络带宽情况,为每一个任务分配一个能够提供最早完成时间的计算节点。本发明解决了现有方法中不能同时从全局视角和实际网络可用带宽两方面进行任务调度的问题。

    一种基于需求的动态服务组合与选择方法和系统

    公开(公告)号:CN103581309A

    公开(公告)日:2014-02-12

    申请号:CN201310498809.7

    申请日:2013-10-22

    Abstract: 本发明公开了一种基于需求的动态服务组合与选择方法,包括:接收来自用户的服务请求,并对服务请求进行解析,根据解析的结果在原子服务库中查找与之匹配的多组初始化服务以及对应的终止服务,每个初始化服务和其对应的终止服务构成一个服务组,其中多组初始化服务依次编号为1、2、3…、n,对第i个服务组而言,取出其中的初始化服务,在原子服务库中寻找与该初始化服务匹配的后续服务,判断上一步得到的后续服务是否为服务编号为i的服务组中的终止服务,如果是则得到一组组合序列Qi,其包括初始服务、后续服务和终止服务,将该组合序列Qi加入到组合方案集合{S}当中。本发明解决现存服务选择技术中服务质量并不能够充分反映用户个性化需求的问题。

    一种基于带宽感知的Hadoop调度方法和系统

    公开(公告)号:CN104102533B

    公开(公告)日:2017-07-18

    申请号:CN201410270693.6

    申请日:2014-06-17

    Abstract: 本发明公开了一种基于带宽感知的Hadoop调度方法,包括:对Hadoop任务调度建立一个作业时间完成模型,为Hadoop调度系统建立一个数学模型,将Hadoop的任务调度问题转化为一个为待调度的作业寻找一个使得该作业的作业完成时间最短的任务调度方法的问题;利用SDN提供的实时网络管理与流量控制功能,提出了一种基于时隙的网络带宽分配机制,将每一条链路的剩余带宽的占用期划分为相等的时隙,在作业完成时间模型和网络时隙带宽分配机制的基础之上;在为某个任务分配计算节点之前,综合考虑任务的本地性与实时网络带宽情况,为每一个任务分配一个能够提供最早完成时间的计算节点。本发明解决了现有方法中不能同时从全局视角和实际网络可用带宽两方面进行任务调度的问题。

Patent Agency Ranking