公开(公告)号：CN107241752A

公开(公告)日：2017-10-10

申请号：CN201710383829.8

申请日：2017-05-26

Applicant: 华中科技大学

Inventor： 辜希武 ,  李瑞轩 ,  王格 ,  李玉华 ,  杨琪 ,  黄凤玲

IPC: H04W24/02 ,  H04W28/08 ,  G06F9/50

Abstract: 本发明公开了一种感知网络流量的YARN调度方法及系统，包括：节点检测节点的网络流量，周期性地将网络流量发送给资源管理器，由资源管理器记录每个节点当前的网络流量信息，收到节点汇报的网络流量信息时，对这个值进行更新，在节点移除时，删掉该节点的网络流量信息；在应用向资源管理器申请容器时，为容器设置类型，以便资源管理器能识别容器的类型；在调度方面，根据当前节点与整个集群的网络流量信息，判断出当前节点的网络流量负载情况，选择合适的应用程序分配资源。本发明提供的调度方法能均衡集群中节点的网络负载，减少MapReduce应用的执行时间。

公开(公告)号：CN107241752B

公开(公告)日：2019-10-25

申请号：CN201710383829.8

申请日：2017-05-26

Applicant: 华中科技大学

Inventor： 辜希武 ,  李瑞轩 ,  王格 ,  李玉华 ,  杨琪 ,  黄凤玲

IPC: H04W24/02 ,  H04W28/08 ,  G06F9/50

Abstract: 本发明公开了一种感知网络流量的YARN调度方法及系统，包括：节点检测节点的网络流量，周期性地将网络流量发送给资源管理器，由资源管理器记录每个节点当前的网络流量信息，收到节点汇报的网络流量信息时，对这个值进行更新，在节点移除时，删掉该节点的网络流量信息；在应用向资源管理器申请容器时，为容器设置类型，以便资源管理器能识别容器的类型；在调度方面，根据当前节点与整个集群的网络流量信息，判断出当前节点的网络流量负载情况，选择合适的应用程序分配资源。本发明提供的调度方法能均衡集群中节点的网络负载，减少MapReduce应用的执行时间。