MapReduce中任务的调度方法和流水化执行方法

    公开(公告)号:CN105117286B

    公开(公告)日:2018-06-12

    申请号:CN201510607579.2

    申请日:2015-09-22

    Applicant: 北京大学

    Abstract: 本发明公布一种MapReduce系统中的任务调度方法和流水化执行方法,将有依赖关系的任务根据依赖关系和优先程度进行任务调度,使得有依赖关系的任务之间的执行重叠最大化:任务之间的依赖关系用DAG关系图表示,根据关键路径算法获得关键任务,通过流水化任务执行方法执行当前任务运行队列中的任务:执行上游map任务;进入上游reduce阶段;当输出第一个block时启动下游map阶段,分发一个map任务,同时设置下游任务map数量为最大数值;上游任务完成时设置下游任务map数量为正确数值;下游任务继续执行map任务和reduce阶段至执行完成。本发明方法可提高系统的资源利用率和程序的执行效率,提升系统运行性能。

    一种网络流量监测方法及网络设备

    公开(公告)号:CN109391521A

    公开(公告)日:2019-02-26

    申请号:CN201710681276.4

    申请日:2017-08-10

    Abstract: 本申请公开了一种网络流量监测方法及网络设备,适用的网络包括数据源节点、中继节点及目标节点,该方法包括:第一节点的M个下游邻居节点向第一节点发送频域分量,该频域分量是各个下游邻居节点从所述下游邻居节点的时域度量值集合进行频域变换的结果中选择的频率和/或振幅满足设定取值范围的L个频域值,然后,第一节点采集所述第一链路的链路负载度量值集合,并将所述第一下游邻居节点的频域分量进行时域变换的结果与所述链路负载度量值集合进行合并,得到子时域度量值集合,继而根据M个子时域度量值集合,确定出所述第一节点的时域度量值集合,这样可以解决现有的流量调节方式传输的信息量大,或者通讯开销大的技术问题。

    一种多路径流量发送的方法及装置

    公开(公告)号:CN107968748A

    公开(公告)日:2018-04-27

    申请号:CN201610915269.1

    申请日:2016-10-20

    CPC classification number: H04L45/24 H04L45/742 H04L47/125 H04L47/33

    Abstract: 本发明公开了一种多路径流量发送的方法及装置,该方法包括边缘节点获取待切换路径的报文,该待切换路径的报文为流量转发过程中因负载均衡引起的从第一路径切换到第二路径转发的报文,其中第一路径上当前发送的报文与该待切换路径的报文属于同一数据流内的报文,将待切换路径的报文缓存在缓冲区,在设定时间长度之后,将缓冲区中缓存的待切换路径的报文通过第二路径发送。通过将属于同一数据流内的待切换路径的报文先缓存在缓冲区,在第一路径的报文发送完成之后,再将缓冲区中缓存的待切换路径的报文通过第二路径转发,可以避免出现属于同一数据流内的报文在通过不同的路径转发时出现乱序的问题。

    一种网络流量监测方法及网络设备

    公开(公告)号:CN109391521B

    公开(公告)日:2020-10-16

    申请号:CN201710681276.4

    申请日:2017-08-10

    Abstract: 本申请公开了一种网络流量监测方法及网络设备,适用的网络包括数据源节点、中继节点及目标节点,该方法包括:第一节点的M个下游邻居节点向第一节点发送频域分量,该频域分量是各个下游邻居节点从所述下游邻居节点的时域度量值集合进行频域变换的结果中选择的频率和/或振幅满足设定取值范围的L个频域值,然后,第一节点采集所述第一链路的链路负载度量值集合,并将所述第一下游邻居节点的频域分量进行时域变换的结果与所述链路负载度量值集合进行合并,得到子时域度量值集合,继而根据M个子时域度量值集合,确定出所述第一节点的时域度量值集合,这样可以解决现有的流量调节方式传输的信息量大,或者通讯开销大的技术问题。

    MapReduce中任务的调度方法和流水化执行方法

    公开(公告)号:CN105117286A

    公开(公告)日:2015-12-02

    申请号:CN201510607579.2

    申请日:2015-09-22

    Applicant: 北京大学

    Abstract: 本发明公布一种MapReduce系统中的任务调度方法和流水化执行方法,将有依赖关系的任务根据依赖关系和优先程度进行任务调度,使得有依赖关系的任务之间的执行重叠最大化:任务之间的依赖关系用DAG关系图表示,根据关键路径算法获得关键任务,通过流水化任务执行方法执行当前任务运行队列中的任务:执行上游map任务;进入上游reduce阶段;当输出第一个block时启动下游map阶段,分发一个map任务,同时设置下游任务map数量为最大数值;上游任务完成时设置下游任务map数量为正确数值;下游任务继续执行map任务和reduce阶段至执行完成。本发明方法可提高系统的资源利用率和程序的执行效率,提升系统运行性能。

Patent Agency Ranking