一种基于带宽调度的CPU任务迁移方法及系统

    公开(公告)号:CN105354084B

    公开(公告)日:2018-12-18

    申请号:CN201510727439.9

    申请日:2015-10-30

    Inventor: 闫晓峰 吴楠

    Abstract: 本申请公开了一种基于带宽调度的CPU任务迁移方法及系统,该方法包括:从计算机的所有CPU中选取N个CPU;按照预设的迁移周期,定期对上述N个CPU进行一次整体的CPU任务迁移。本申请是按照排序后的对应位置,将N个排序后的CPU任务一对一地迁移至N个排序后的CPU,实现了将较忙的CPU任务迁移至较闲的CPU上,以及将较闲的CPU任务迁移至较忙的CPU上的过程,从而保证了对操作系统调度过程的整体优化,并且,本申请是按照预设的迁移周期,定期进行整体的CPU任务迁移,从而避免了频繁切换CPU任务的现象,也即降低了CPU任务切换的频率,减少了系统开销。

    一种实现节点监控的方法及系统

    公开(公告)号:CN103701661B

    公开(公告)日:2017-08-25

    申请号:CN201310717518.2

    申请日:2013-12-23

    Abstract: 本申请公开了一种实现节点监控的方法及系统,包括:一个主服务器和在各数据节点上运行的相应独立的代理服务器;其中,主服务器与名称节点相连,并获取集群配置信息;基于心跳协议,下发状态指令和控制指令给代理服务器;接收代理服务器上传的节点状态信息,以更新集群配置信息;代理服务器,用于接收主服务器的状态指令及控制指令信息,根据状态指令获取数据节点状态信息,上传给主服务器;根据控制指令对数据节点的各组件进行工作状态控制,并将控制指令结果反馈给主服务器。本发明实现代理服务器接收主服务器的状态指令和控制指令信息,以获取数据节点状态信息、下发控制指令并反馈控制指令结果信息,实现对数据节点的监控管理。

    一种Hadoop集群中的作业调度方法和作业调度器

    公开(公告)号:CN104239154B

    公开(公告)日:2017-08-11

    申请号:CN201410528405.2

    申请日:2014-10-09

    Abstract: 本发明公开了一种Hadoop集群中的作业调度方法和作业调度器,根据作业的优先级、提交时间和任务运行数对Hadoop集群中的作业进行评价,并根据评价结果自适应地选择作业,缩短了优先级较高的小作业的等待时间,保证了对优先级高的小作业的公平性,同时缩短了多作业的整体运行时间,避免了局部最优的出现,提高了作业调度的适应性和调度合理性,改善了Hadoop集群处理任务的效率和整体性能。

    一种Hadoop集群批处理作业的方法及系统

    公开(公告)号:CN104156316B

    公开(公告)日:2017-04-05

    申请号:CN201410384390.7

    申请日:2014-08-06

    Inventor: 郭美思 吴楠

    Abstract: 本发明公开了一种Hadoop集群中批处理作业的方案,涉及Hadoop集群批处理作业技术。本发明公开的方法,包括:构建一个混合异构内存的硬件平台,在该硬件平台中部署Hadoop集群,其中,所构建的硬件平台中混合异构内存采用非易失性存储介质与动态随机存取存储器(DRAM)的混合;当在硬件平台上进行Hadoop集群批处理作业时,将Hadoop集群批处理作业的内存申请分配到混合异构内存的非易失性存储介质中;在Map阶段,将Hadoop集群批处理作业的中间结果存储在所述混合异构内存的非易失性存储介质中,在Reduce阶段,从所述非易失性存储介质中读取中间结果进行处理。本发明还公开了一种Hadoop集群系统。本申请技术方案提高了Hadoop集群批处理作业的效率。

    一种日志数据管理方法及系统

    公开(公告)号:CN105677258A

    公开(公告)日:2016-06-15

    申请号:CN201610099123.4

    申请日:2016-02-23

    Inventor: 闫晓峰 吴楠

    CPC classification number: G06F3/0647 G06F3/061 G06F16/1815

    Abstract: 本发明涉及日志数据处理技术领域,具体涉及了一种日志数据管理方法及系统,该方法包括:当检测到针对目标数据文件的变更操作时,将变更操作的日志数据缓存至预设的内存空间;判断内存空间中缓存数据的数据量是否达到预设的转存阈值;当判定数据量达到转存阈值时,将当前内存空间中的缓存数据写入硬盘。这样,由于相较硬盘而言内存具有较高的读写速度,即使频繁发起变更操作,也能保证较高的日志数据写入速度(即日志数据存入内存空间的速度),同时也避免了频繁访问硬盘影响系统性能的情况。可见,本发明有效解决了现有技术中当频繁发起变更操作时,频繁访问硬盘降低日志数据写入速度的问题。

    一种基于带宽调度的CPU任务迁移方法及系统

    公开(公告)号:CN105354084A

    公开(公告)日:2016-02-24

    申请号:CN201510727439.9

    申请日:2015-10-30

    Inventor: 闫晓峰 吴楠

    CPC classification number: G06F9/4875

    Abstract: 本申请公开了一种基于带宽调度的CPU任务迁移方法及系统,该方法包括:从计算机的所有CPU中选取N个CPU;按照预设的迁移周期,定期对上述N个CPU进行一次整体的CPU任务迁移。本申请是按照排序后的对应位置,将N个排序后的CPU任务一对一地迁移至N个排序后的CPU,实现了将较忙的CPU任务迁移至较闲的CPU上,以及将较闲的CPU任务迁移至较忙的CPU上的过程,从而保证了对操作系统调度过程的整体优化,并且,本申请是按照预设的迁移周期,定期进行整体的CPU任务迁移,从而避免了频繁切换CPU任务的现象,也即降低了CPU任务切换的频率,减少了系统开销。

    一种动态分配配额的方法和装置

    公开(公告)号:CN105183559A

    公开(公告)日:2015-12-23

    申请号:CN201510537019.4

    申请日:2015-08-27

    Inventor: 闫晓峰 吴楠

    Abstract: 本发明公开了一种动态分配配额的方法和装置,包括:确定CPU上运行的各个任务的是忙任务还是闲任务;为确定出的各个忙任务分配带宽以及为确定出的各个闲任务分配带宽;各个忙任务和各个闲任务按照分配的带宽运行。本发明技术方案实现了调度系统中配额的动态分配,更加合理的使用带宽。

    一种基于云计算平台的远程硬件实验方法及系统

    公开(公告)号:CN104299466A

    公开(公告)日:2015-01-21

    申请号:CN201410497538.8

    申请日:2014-09-25

    Inventor: 杨龙军 吴楠

    CPC classification number: G09B5/08

    Abstract: 一种基于云计算平台的远程硬件实验系统,包括:多个硬件节点设备、交换机、搭建有云计算平台的服务器;所述多个硬件节点设备通过所述交换机连接所述服务器;所述服务器用于根据客户端的申请分配所述硬件节点设备,并向所述客户端提供所分配的所述硬件节点设备的接口,将从所述客户端收到的程序文件和硬件控制命令发送到相应的硬件节点设备,将所述硬件节点设备的执行结果反馈给所述客户端;所述硬件节点设备用于执行所接收到的操作指令,并将执行结果作为响应反馈给所述服务器。本发明提供了一种低成本、不受时间和空间限制、且具备真实性的远程硬件实验方案。

Patent Agency Ranking