一种Hadoop集群中的作业调度方法和作业调度器

    公开(公告)号:CN104268018B

    公开(公告)日:2017-11-24

    申请号:CN201410486616.4

    申请日:2014-09-22

    Abstract: 本发明公开了一种Hadoop集群中的作业调度方法和作业调度器,该方法包括以下步骤:S1、获取Hadoop集群中的各个资源池的资源使用量,根据各个资源池的资源使用量,选择当前资源池;S2、选择所述当前资源池中任务权重比最小的作业作为当前作业;S3、判断所述当前作业是否是小作业,如果是,则执行步骤S4;否则,执行步骤S5;S4、从所述当前作业中选择一个本地任务,向选择的本地任务分配空闲资源;S5、根据所述当前资源池中的空闲资源的位置以及所述当前作业的等待时间,向所述当前作业分配空闲资源。本发明能够避免将非本地节点的空闲资源资源分配给小作业带来的数据传输延迟和带宽消耗,提高了小作业的运行效率和系统的整体性能。

    一种HDFS中热点数据文件的动态副本创建方法和系统

    公开(公告)号:CN104102725B

    公开(公告)日:2017-10-27

    申请号:CN201410350401.X

    申请日:2014-07-22

    Inventor: 郭美思 吴楠

    Abstract: 本发明提供了一种Hadoop分布式文件系统(HDFS)中热点数据文件的动态副本创建方法和系统,其中,所述方法包括:识别热点数据文件;对所述文件动态创建副本,包括:优先在对所述热点数据文件发生请求的本地节点创建所述热点数据文件的副本。本发明避免了数据文件副本大量移动带来的数据读取延迟和网络开销大。

    一种计算机故障自动处理方式以及装置

    公开(公告)号:CN106293984A

    公开(公告)日:2017-01-04

    申请号:CN201610659433.7

    申请日:2016-08-11

    CPC classification number: G06F11/079 G06F11/0787

    Abstract: 本申请公开了一种计算机故障自动处理方法,包括:根据计算机的配置信息生成内存映像文件;读取所述内存映像文件,并对其进行故障分析,收集故障信息;对收集到的所述故障信息进行分类,确定故障类型;根据所述故障类型选择与所述故障类型对应的故障处理方式进行故障处理。在计算机运行过程中,通过配置内存映像生成的方式生成内存映像文件,并对内存映像文件进行故障分析,收集故障信息,当计算机重新启动之后,对收集到的故障进行分析,并及时排除故障,明显提高了计算机的维护效率,确保系统更加稳定可靠的运行。本申请还公开了一种计算机故障自动处理装置。

    基于linux中PCIE错误事件的收集方法及系统

    公开(公告)号:CN106201831A

    公开(公告)日:2016-12-07

    申请号:CN201610491115.4

    申请日:2016-06-28

    Inventor: 郭美思 宗栋瑞

    CPC classification number: G06F11/327 G06F11/3027

    Abstract: 本发明公开了一种基于linux中PCIE错误事件的收集方法,包括:初始化AER中的错误信息,确定发生错误的目标设备;从所述AER中提取与所述目标设备对应的PCIE错误信息;分析所述PCIE错误信息的错误事件类型及属性信息,根据所述错误事件类型及属性信息,将所述PCIE错误信息整合为预定文件格式的PCIE错误事件,并存储至数据库;可见,在本实施例中,通过从AER提取与目标设备对应的PCIE错误信息,并将PCIE错误信息整合为统一的事件格式,实现了对PCIE错误信息的收集;本发明还公开了一种基于linux中PCIE错误事件的收集系统,同样能实现上述技术效果。

    一种基于linux系统的内存故障事件收集方法及系统

    公开(公告)号:CN106126364A

    公开(公告)日:2016-11-16

    申请号:CN201610494538.1

    申请日:2016-06-28

    Inventor: 郭美思 宗栋瑞

    CPC classification number: G06F11/0781

    Abstract: 本发明公开了一种基于linux系统的内存故障事件收集方法及系统,包括调取内存错误记录寄存器内的错误原始事件数据,并将其发送至mcelog设备进行记录;分析mcelog设备内的错误原始事件数据,提取错误原始事件数据中的关键数据;将关键数据整合为错误事件文件,并将错误事件文件的格式定义为预设错误事件格式后作为内存事件源。本发明能够主动将位于内存错误记录寄存器内的错误原始事件数据进行调取,并通过分析将其中的包含有错误信息的关键数据提取出来,整合为格式统一的错误事件文件,便于后续故障诊断处理时进行识别,可用性强,且提高了故障诊断处理时的便利性。

    一种基于仲裁盘机制的双机热备方法

    公开(公告)号:CN103593266B

    公开(公告)日:2016-06-22

    申请号:CN201310560287.9

    申请日:2013-11-12

    Abstract: 提供一种基于仲裁盘机制的双机热备方法,用于实现多个服务器之间的备份,所述多个服务器通过竞争获得对存储节点上的仲裁区的控制权,成功获得仲裁区控制权的服务器成为活动服务器,其它节点成为备份服务器;所述活动服务器定时更新心跳值,所述备份服务器定时读取心跳值,如果在一段时间内所述心跳值不发生变化则确定所述活动服务器宕机,所述备份服务器再次竞争对仲裁区的控制权,确定新的活动服务器。所述方法能够准确判断活动服务器的工作状态,避免误判以及脑裂情况的发生,保证服务的连续性。

    一种网卡流量监控方法及装置

    公开(公告)号:CN105429973A

    公开(公告)日:2016-03-23

    申请号:CN201510762536.1

    申请日:2015-11-10

    Inventor: 宗栋瑞 郭美思

    CPC classification number: H04L63/1408

    Abstract: 本发明公开了一种网卡流量监控方法及装置,该方法包括:每经过预设时间段,则提取网卡在经过的预设时间段内的接收流量字节数和发送流量字节数;由发送流量字节数中减去接收流量字节数,得到目标差值;判断目标差值是否大于预设阈值,如果是,则确定存在恶意程序。其中,接收流量字节数对应于下载速度,发送流量字节数对应于上传速度,因此,在目标差值大于预设阈值时,说明其上传速度在一定程度上大于下载速度,此时,确定计算机存在恶意程序。可见,本申请提供的一种网卡流量监控方法及装置通过对网卡流量的监控,能够在操作简便的同时,有效判断出计算机是否存在恶意程序,进而保证计算机和网络的安全连接。

    内存泄露定位方法及装置
    28.
    发明公开

    公开(公告)号:CN105243011A

    公开(公告)日:2016-01-13

    申请号:CN201510571947.2

    申请日:2015-09-09

    Inventor: 宗栋瑞 郭美思

    Abstract: 本发明提供一种内存泄露定位方法及装置。该方法,包括:获取文件信息和内存地址信息,所述文件信息包括触发分配内存的文件名称和文件行号,所述内存地址信息包括指向所分配内存的指针值信息,所述分配内存包括为所述文件行号指示的文件所分配的内存,所述文件行号为所述文件名称指示的文件的行号;将所述文件信息和所述内存地址信息存储在数据结构中,用于在发生内存泄漏时确定内存泄漏的位置。实现了对分配内存的定位,从而可以在发生内存泄漏时,根据分配内存的定位信息,确定内存泄漏的位置。

    内存分配的监测方法及装置

    公开(公告)号:CN105243003A

    公开(公告)日:2016-01-13

    申请号:CN201510572104.4

    申请日:2015-09-09

    Inventor: 宗栋瑞 郭美思

    Abstract: 本发明提供一种内存分配的监测方法及装置。该方法,包括:获取文件信息和内存信息,所述文件信息包括触发分配内存的文件名称和文件行号,所述内存信息包括为执行所述文件行号指示的文件所分配的内存信息,所述文件行号为所述文件名称指示的文件的行号;根据所述文件信息和内存信息,确定所述文件行号指示的文件占用的内存总量。实现了对程序运行的过程中内存占用量的实时监测,从而避免了内存泄漏,进而减少了系统崩溃的几率。

    一种进程调度方法及装置
    30.
    发明公开

    公开(公告)号:CN104991816A

    公开(公告)日:2015-10-21

    申请号:CN201510358596.7

    申请日:2015-06-25

    Abstract: 本发明提供一种进程调度方法及装置,上述方法包括以下步骤:预设实时进程优先级并将不同优先级的实时进程放入对应的工作队列;根据所述工作队列中的实时进程截止时间、实时进程运行时间,按照预设进程顺序调整策略,调整所述工作队列中各个实时进程执行顺序;实现了将实时进程优先级与实时进程截止剩余时间结合起来,安排实时进程执行顺序,大大提升了实时进行的执行效率。

Patent Agency Ranking