公开(公告)号：CN106484879B

公开(公告)日：2019-08-06

申请号：CN201610899802.X

申请日：2016-10-14

Applicant: 哈尔滨工程大学

Inventor： 郭方方 ,  朱建文 ,  吕宏武 ,  王慧强 ,  冯光升 ,  刘慧姝

IPC: G06F16/22 ,  G06F16/28

Abstract: 本发明提供的是一种基于MapReduce的Map端数据的聚合方法。包括测试阶段和聚合阶段。测试阶段，通过测试阶段来验证所使用Map端的Map函数中的算法是否适合进行内聚合。内聚合方法是在内存中Map函数的计算过程中进行的，计算完一部分后就进行聚合；外聚合方法是在Map函数将所有数据计算完存入磁盘后，再调入内存进行聚合。聚合阶段，若测试通过，使用内聚合方法对Map端计算后的数据进行聚合；若测试未通过，使用外聚合方法对Map端计算的后的数据进行聚合。本发明根据数据的特点，保证计算结果正确的前提下，选择相应的聚合方式，在减少I/O的访问次数的同时，减少传输 的通信量。

公开(公告)号：CN106484879A

公开(公告)日：2017-03-08

申请号：CN201610899802.X

申请日：2016-10-14

Applicant: 哈尔滨工程大学

Inventor： 郭方方 ,  朱建文 ,  吕宏武 ,  王慧强 ,  冯光升 ,  刘慧姝

IPC: G06F17/30

CPC classification number: G06F16/285 ,  G06F16/2228

Abstract: 本发明提供的是一种基于MapReduce的Map端数据的聚合方法。包括测试阶段和聚合阶段。测试阶段，通过测试阶段来验证所使用Map端的Map函数中的算法是否适合进行内聚合。内聚合方法是在内存中Map函数的计算过程中进行的，计算完一部分后就进行聚合；外聚合方法是在Map函数将所有数据计算完存入磁盘后，再调入内存进行聚合。聚合阶段，若测试通过，使用内聚合方法对Map端计算后的数据进行聚合；若测试未通过，使用外聚合方法对Map端计算的后的数据进行聚合。本发明根据数据的特点，保证计算结果正确的前提下，选择相应的聚合方式，在减少I/O的访问次数的同时，减少传输 的通信量。