一种远程并行程序调试系统中基于树形的消息聚集方法

    公开(公告)号:CN102023920A

    公开(公告)日:2011-04-20

    申请号:CN201010524824.0

    申请日:2010-10-27

    Abstract: 一种远程并行程序调试系统中基于树形的消息聚集方法,首先构建一种树形调试框架,再为树形调试框架中除根结点外的其他结点绑定串行调试工具gdb,然后把调试进程分配到该框架的同一棵子树中,最后根控制器按照该框架逐层把调试命令分发到位于树形调试框架中各个结点的gdb进程,调试操作结束后,由gdb进程所在结点的叶子控制器把调试结果产生的消息返回给其父亲结点调试控制器,该控制器在收到其所有孩子结点返回的消息后,将其聚集成四类消息之一,返回给其父亲结点调试控制器进行聚集,再返回到根控制器并进行聚集,并把聚集后的消息封装成ip数据包发送至客户端,本发明具有系统并发性高、通信量少、响应时间短的优点。

    一种远程并行程序调试系统中基于树形的消息聚集方法

    公开(公告)号:CN102023920B

    公开(公告)日:2012-09-05

    申请号:CN201010524824.0

    申请日:2010-10-27

    Abstract: 一种远程并行程序调试系统中基于树形的消息聚集方法,首先构建一种树形调试框架,再为树形调试框架中除根结点外的其他结点绑定串行调试工具gdb,然后把调试进程分配到该框架的同一棵子树中,最后根控制器按照该框架逐层把调试命令分发到位于树形调试框架中各个结点的gdb进程,调试操作结束后,由gdb进程所在结点的叶子控制器把调试结果产生的消息返回给其父亲结点调试控制器,该控制器在收到其所有孩子结点返回的消息后,将其聚集成四类消息之一,返回给其父亲结点调试控制器进行聚集,再返回到根控制器并进行聚集,并把聚集后的消息封装成ip数据包发送至客户端,本发明具有系统并发性高、通信量少、响应时间短的优点。

    一种HDFS中数据块的副本管理策略

    公开(公告)号:CN103425756B

    公开(公告)日:2016-06-29

    申请号:CN201310330292.0

    申请日:2013-07-31

    Abstract: 一种HDFS中数据块的副本管理策略,包括副本的启动时机的选择方法,副本个数的选择方法,副本位置的选择方法,以及新增副本的放置方法,副本的启动时机的选择方法是先确定启动周期,把一天当做一个访问周期来进行副本策略的启动,然后确定启动时刻;副本个数的选择方法是采用泊松分布来计算副本的个数,然后基于排队论的副本个数计算方法计算;副本位置的选择方法采用的副本放置策略在机架和节点的选择上,需要考虑节点的利用情况;新增副本的放置方法,新增副本位置选择在用户访问最多的节点所在机架中,在该机架中选择负载最轻的节点进行副本的创建,本发明提出了HDFS先副本策略,可以减少用户在访问HDFS数据时候的等待时间,提高系统吞吐量。

    一种HDFS运行时数据块平衡方法

    公开(公告)号:CN102937918B

    公开(公告)日:2016-03-30

    申请号:CN201210393176.9

    申请日:2012-10-16

    Abstract: 本发明公开了一种HDFS运行时数据块平衡方法,该方法首先对节点本地任务列表进行预处理,为每一个节点划分出完成本地任务和非完全本地任务,以提供启动HDFS数据块平衡判断的依据。接着对各个节点的运行速率就行评估和任务请求预测。完成以上步骤之后对各个节点的分配过程进行设计和实现。之后选择合适的节点间进行数据块的移动,从而数据块的分布就可以匹配预测的节点任务请求序列,最终达到数据块平衡的目的。本发明提出基于运行时数据块移动HDFS平衡策略,通过预测节点任务请求提前判断可能出现的非本地map任务执行,并在相应的节点间移动合适的数据块,使得节点发出实际任务请求时候能够得到本地map任务的分配响应,从而提高Map阶段的完成效率。

    一种MapReduce计算模型中基于遗传算法的数据平衡方法

    公开(公告)号:CN103106253B

    公开(公告)日:2016-05-04

    申请号:CN201310015988.4

    申请日:2013-01-16

    Abstract: 一种MapReduce计算模型中基于遗传算法的数据平衡方法,先获取全局Map输出信息,利用遗传算法进行组合优化:先将元数据收集,进行编码,然后对种群进行多次随机划分,每次划分形成一个基因组,计算每个基因中所有子集的适应度函数值,并计算出每个目标函数的概率,对每一个基因的适应度进行评价的基础上将选择算子应用于基因组,利用轮盘赌算法随机的选择出基因组中的若干个优质基因,对选出来的基因进行交叉运算,再进行变异操作,经过多轮进化之后依据精英保留策略选择保留的基因,并对基因进行解码,就可获得对元数据的一个优化的组合,保证每个reducer所处理的数据量是近似相等的,本发明解决了reduce阶段输入数据不均衡的问题,节约计算资源,减少计算成本。

    一种HDFS中数据块的副本管理策略

    公开(公告)号:CN103425756A

    公开(公告)日:2013-12-04

    申请号:CN201310330292.0

    申请日:2013-07-31

    Abstract: 一种HDFS中数据块的副本管理策略,包括副本的启动时机的选择方法,副本个数的选择方法,副本位置的选择方法,以及新增副本的放置方法,副本的启动时机的选择方法是先确定启动周期,把一天当做一个访问周期来进行副本策略的启动,然后确定启动时刻;副本个数的选择方法是采用泊松分布来计算副本的个数,然后基于排队论的副本个数计算方法计算;副本位置的选择方法采用的副本放置策略在机架和节点的选择上,需要考虑节点的利用情况;新增副本的放置方法,新增副本位置选择在用户访问最多的节点所在机架中,在该机架中选择负载最轻的节点进行副本的创建,本发明提出了HDFS先副本策略,可以减少用户在访问HDFS数据时候的等待时间,提高系统吞吐量。

    一种HDFS运行时数据块平衡方法

    公开(公告)号:CN102937918A

    公开(公告)日:2013-02-20

    申请号:CN201210393176.9

    申请日:2012-10-16

    Abstract: 本发明公开了一种HDFS运行时数据块平衡方法,该方法首先对节点本地任务列表进行预处理,为每一个节点划分出完成本地任务和非完全本地任务,以提供启动HDFS数据块平衡判断的依据。接着对各个节点的运行速率就行评估和任务请求预测。完成以上步骤之后对各个节点的分配过程进行设计和实现。之后选择合适的节点间进行数据块的移动,从而数据块的分布就可以匹配预测的节点任务请求序列,最终达到数据块平衡的目的。本发明提出基于运行时数据块移动HDFS平衡策略,通过预测节点任务请求提前判断可能出现的非本地map任务执行,并在相应的节点间移动合适的数据块,使得节点发出实际任务请求时候能够得到本地map任务的分配响应,从而提高Map阶段的完成效率。

    一种MapReduce计算模型中基于遗传算法的数据平衡方法

    公开(公告)号:CN103106253A

    公开(公告)日:2013-05-15

    申请号:CN201310015988.4

    申请日:2013-01-16

    Abstract: 一种MapReduce计算模型中基于遗传算法的数据平衡方法,先获取全局Map输出信息,利用遗传算法进行组合优化:先将元数据收集,进行编码,然后对种群进行多次随机划分,每次划分形成一个基因组,计算每个基因中所有子集的适应度函数值,并计算出每个目标函数的概率,对每一个基因的适应度进行评价的基础上将选择算子应用于基因组,利用轮盘赌算法随机的选择出基因组中的若干个优质基因,对选出来的基因进行交叉运算,再进行变异操作,经过多轮进化之后依据精英保留策略选择保留的基因,并对基因进行解码,就可获得对元数据的一个优化的组合,保证每个reducer所处理的数据量是近似相等的,本发明解决了reduce阶段输入数据不均衡的问题,节约计算资源,减少计算成本。

    一种云计算环境下基于工作流的软件部署系统及部署方法

    公开(公告)号:CN102404381A

    公开(公告)日:2012-04-04

    申请号:CN201110258875.8

    申请日:2011-09-02

    Abstract: 本发明提供一种云计算环境下基于工作流的软件部署系统及部署方法,软件部署系统包括用户接口层、系统逻辑层和云资源层;用户接口层用于用户描述软件部署规划、定义软件之间的依赖关系、查询目标机器节点状态、描述软件属性和监控软件部署过程;系统逻辑层用于解析用户提交的软件部署规划文件,然后按照用户的部署规划,将软件包部署到远程的云资源节点上;云资源层用于软件部署。本发明具有以下优点:支持Windows和Linux操作系统下的软件自动部署;提供软件部署完整性、正确性验证;基于工作流技术,支持依赖软件自动部署;支持多机并发传输和部署软件包,提高了部署效率;支持软件自动反部署。

Patent Agency Ranking