公开(公告)号：CN106371919B

公开(公告)日：2019-07-16

申请号：CN201610712705.5

申请日：2016-08-24

Applicant: 上海交通大学

Inventor： 付周望 ,  王一丁 ,  戚正伟 ,  管海兵

IPC: G06F9/50 ,  G06F11/07

Abstract: 本发明公开了一种基于映射‑归约计算模型的洗牌数据缓存方法，包括映射‑归约计算框架将一个映射‑归约工作按任务为单位的划分通过接口发送到洗牌缓存主机，洗牌缓存主机接收到任务划分数据后，加上时间戳保存在本地内存中；洗牌缓存主机对任务划分数据采用随机算法将其中的归约任务与集群的各个节点做一个一对三的映射，并以哈希表的形式保存在洗牌缓存主机的内存中等步骤。本发明能够提升基于映射‑归约模型的分布式计算框架的计算性能，避免低效的用户手动设置检查点，提升分布式计算框架的鲁棒性。

公开(公告)号：CN106371919A

公开(公告)日：2017-02-01

申请号：CN201610712705.5

申请日：2016-08-24

Applicant: 上海交通大学

Inventor： 付周望 ,  王一丁 ,  戚正伟 ,  管海兵

IPC: G06F9/50 ,  G06F11/07

CPC classification number: G06F9/5016 ,  G06F11/0709 ,  G06F11/073

Abstract: 本发明公开了一种基于映射-归约计算模型的洗牌数据缓存方法，包括映射-归约计算框架将一个映射-归约工作按任务为单位的划分通过接口发送到洗牌缓存主机，洗牌缓存主机接收到任务划分数据后，加上时间戳保存在本地内存中；洗牌缓存主机对任务划分数据采用随机算法将其中的归约任务与集群的各个节点做一个一对三的映射，并以哈希表的形式保存在洗牌缓存主机的内存中等步骤。本发明能够提升基于映射-归约模型的分布式计算框架的计算性能，避免低效的用户手动设置检查点，提升分布式计算框架的鲁棒性。