一种多数据中心的HDFS数据读写方法

    公开(公告)号:CN104113597B

    公开(公告)日:2016-06-08

    申请号:CN201410344218.9

    申请日:2014-07-18

    Abstract: 本发明提供一种多数据中心的HDFS数据读写系统及方法,其特征在于,建立全局元数据服务器,用于存储和管理全局的元数据信息,并负责接收客户端数据读写访问请求,根据预设调度算法选择HDFS数据中心;客户端与所选数据中心进行交互进行数据读写操作,操作完成后,数据中心的元数据节点再将元数据的变化信息同步至全局元数据服务器。本发明所述系统及方法实现了多HDFS数据中心的数据读写访问,提供统一的数据访问接口,有效实现了多HDFS数据中心的资源和数据共享。

    基于P2P构架的MapReduce任务跨数据中心调度系统及方法

    公开(公告)号:CN104112049B

    公开(公告)日:2015-11-11

    申请号:CN201410344229.7

    申请日:2014-07-18

    Abstract: 本发明公开了一种基于P2P架构MapReduce任务跨数据中心的调度系统,其特征在于,各数据中心的资源管理器均包含一个P2P代理模块Proxyer,用于各数据中心之间建立P2P对等架构的联邦式任务调度机制;客户端通过Submitter提交MapReduce任务请求,并选择确定本次任务的主数据中心资源管理器,主资源管理器根据任务请求和各数据中心忙闲状态向其它数据中心的资源管理器进行任务分派。本发明所述系统及方法实现了MapReduce任务的跨数据中心调度,为跨数据中心的MapReduce任务提供统一入口,有效实现了各数据中心的数据和计算资源共享。

    基于主从架构的MapReduce任务跨数据中心调度系统及方法

    公开(公告)号:CN104123182B

    公开(公告)日:2015-09-30

    申请号:CN201410344242.2

    申请日:2014-07-18

    Abstract: 本发明提供一种基于主从架构的MapReduce任务跨数据中心调度系统及方法,其特征在于,建立MapReduce任务全局任务调度中心,负责管理各数据中心的资源管理器,接收客户端Client提交的MapReduce任务请求,根据预设调度算法选择满足要求的数据中心;各数据中心的资源管理器定时将本中心的状态和任务执行信息同步至全局任务调度中心。本发明所述系统及方法实现了MapReduce任务的跨数据中心调度,为跨数据中心的MapReduce任务提供统一入口,有效实现了各数据中心的数据和计算资源共享。

    基于主从架构的MapReduce任务跨数据中心调度系统及方法

    公开(公告)号:CN104123182A

    公开(公告)日:2014-10-29

    申请号:CN201410344242.2

    申请日:2014-07-18

    Abstract: 本发明提供一种基于主从架构的MapReduce任务跨数据中心调度系统及方法,其特征在于,建立MapReduce任务全局任务调度中心,负责管理各数据中心的资源管理器,接收客户端Client提交的MapReduce任务请求,根据预设调度算法选择满足要求的数据中心;各数据中心的资源管理器定时将本中心的状态和任务执行信息同步至全局任务调度中心。本发明所述系统及方法实现了MapReduce任务的跨数据中心调度,为跨数据中心的MapReduce任务提供统一入口,有效实现了各数据中心的数据和计算资源共享。

    一种多数据中心的HDFS数据读写系统及方法

    公开(公告)号:CN104113597A

    公开(公告)日:2014-10-22

    申请号:CN201410344218.9

    申请日:2014-07-18

    Abstract: 本发明提供一种多数据中心的HDFS数据读写系统及方法,其特征在于,建立全局元数据服务器,用于存储和管理全局的元数据信息,并负责接收客户端数据读写访问请求,根据预设调度算法选择HDFS数据中心;客户端与所选数据中心进行交互进行数据读写操作,操作完成后,数据中心的元数据节点再将元数据的变化信息同步至全局元数据服务器。本发明所述系统及方法实现了多HDFS数据中心的数据读写访问,提供统一的数据访问接口,有效实现了多HDFS数据中心的资源和数据共享。

    基于P2P构架的MapReduce任务跨数据中心调度系统及方法

    公开(公告)号:CN104112049A

    公开(公告)日:2014-10-22

    申请号:CN201410344229.7

    申请日:2014-07-18

    Abstract: 本发明公开了一种基于P2P架构MapReduce任务跨数据中心的调度系统,其特征在于,各数据中心的资源管理器均包含一个P2P代理模块Proxyer,用于各数据中心之间建立P2P对等架构的联邦式任务调度机制;客户端通过Submitter提交MapReduce任务请求,并选择确定本次任务的主数据中心资源管理器,主资源管理器根据任务请求和各数据中心忙闲状态向其它数据中心的资源管理器进行任务分派。本发明所述系统及方法实现了MapReduce任务的跨数据中心调度,为跨数据中心的MapReduce任务提供统一入口,有效实现了各数据中心的数据和计算资源共享。

Patent Agency Ranking