公开(公告)号：CN102193831B

公开(公告)日：2014-05-21

申请号：CN201010125019.0

申请日：2010-03-12

Applicant: 复旦大学

Inventor： 陈海波 ,  肖之慰 ,  臧斌宇

IPC: G06F9/50

Abstract: 本发明属计算机软件应用领域，涉及建立层次化的映射/归约并行编程模型的方法，包括使用C语言实现单节点上的作业处理逻辑，实现任务并行和数据局部性优化；对应于一般的集群环境中的双层并行架构，采用层次化的映射/规约框架，在单个计算节点上应用映射/规约模型实现多核架构上的并行处理。本发明能在分布式计算系统中，使用映射/规约并行编程模型处理大规模数据的应用，实现了高效的作业执行器，充分挖掘了单个计算节点的处理能力，特别是多核架构的并行处理能力和缓存及内存中的数据局部性，为映射/规约并行编程模型的整体性能带来速度提升；同时保留了Hadoop在集群级别的任务调度、负载均衡以及错误容忍等特性。

公开(公告)号：CN102193831A

公开(公告)日：2011-09-21

申请号：CN201010125019.0

申请日：2010-03-12

Applicant: 复旦大学

Inventor： 陈海波 ,  肖之慰 ,  臧斌宇

IPC: G06F9/50

Abstract: 本发明属计算机软件应用领域，涉及建立层次化的映射/归约并行编程模型的方法，包括使用C语言实现单节点上的作业处理逻辑，实现任务并行和数据局部性优化；对应于一般的集群环境中的双层并行架构，采用层次化的映射/规约框架，在单个计算节点上应用映射/规约模型实现多核架构上的并行处理。本发明能在分布式计算系统中，使用映射/规约并行编程模型处理大规模数据的应用，实现了高效的作业执行器，充分挖掘了单个计算节点的处理能力，特别是多核架构的并行处理能力和缓存及内存中的数据局部性，为映射/规约并行编程模型的整体性能带来速度提升；同时保留了Hadoop在集群级别的任务调度、负载均衡以及错误容忍等特性。

公开(公告)号：CN102137125A

公开(公告)日：2011-07-27

申请号：CN201010101752.9

申请日：2010-01-26

Applicant: 复旦大学

Inventor： 陈海波 ,  肖之慰 ,  臧斌宇

IPC: H04L29/08

Abstract: 本发明属网络信息技术领域，涉及一种用于在包括主节点和多个从节点的网络系统中处理跨任务数据，包括在每一从节点上提供一对应的缓存；将在从节点执行的当前任务的数据保存于对应的缓存中并产生一包含关于保存数据及其节点位置信息的消息，将该消息发送至主节点；在网络中的任一从节点请求执行一后续任务，且该后续任务所需要的数据与先前保存的数据相同时，主节点产生一调度指令给保存同样数据的从节点，令其用先前保存的相同数据执行该后续的任务，从而实现跨任务数据的重复使用，避免从分布式文件系统重复加载相同的数据输入，提高对相同数据的多次访问的速度，并有效减少网络通信量。