公开(公告)号：CN104951427B

公开(公告)日：2019-01-11

申请号：CN201510372041.8

申请日：2015-06-30

Applicant: 深圳清华大学研究院

Inventor： 武永卫 ,  陈康 ,  张磊 ,  郑纬民

IPC: G06F17/16

Abstract: 本发明提供了一种以矩阵为中心的分布式计算框架，执行如下步骤：计算框架读取数据，并根据数据生成稀疏矩阵；对稀疏矩阵进行预处理，并将稀疏矩阵进行逻辑分块以得到多个矩阵块；通过计算框架对多个矩阵块进行划分；根据划分后的矩阵块进行矩阵运算以提升数据的处理效率。该计算框架，解决分布式矩阵划分中对系统性能的均衡问题。该计算框架在划分中针对数据的矩阵特征进行优化，在数据倾斜、通信量和单机计算效率等性能上达到平衡。

公开(公告)号：CN104951427A

公开(公告)日：2015-09-30

申请号：CN201510372041.8

申请日：2015-06-30

Applicant: 深圳清华大学研究院

Inventor： 武永卫 ,  陈康 ,  张磊 ,  郑纬民

IPC: G06F17/16

Abstract: 本发明提供了一种以矩阵为中心的分布式计算框架，执行如下步骤：计算框架读取数据，并根据数据生成稀疏矩阵；对稀疏矩阵进行预处理，并将稀疏矩阵进行逻辑分块以得到多个矩阵块；通过计算框架对多个矩阵块进行划分；根据划分后的矩阵块进行矩阵运算以提升数据的处理效率。该计算框架，解决分布式矩阵划分中对系统性能的均衡问题。该计算框架在划分中针对数据的矩阵特征进行优化，在数据倾斜、通信量和单机计算效率等性能上达到平衡。