公开(公告)号：CN105677486B

公开(公告)日：2019-03-22

申请号：CN201610012000.2

申请日：2016-01-08

Applicant: 上海交通大学 ,  无锡江南计算技术研究所

Inventor： 黄林鹏 ,  吴仁克 ,  李素敏 ,  周浩杰 ,  余鹏 ,  沈凯 ,  石秋伟

IPC: G06F9/50

Abstract: 本发明提供的一种数据并行处理方法，包括如下步骤：步骤1，主管理节点接收数据并获取数据的关联关系；步骤2，主管理节点计算工作计算节点的可调配的GPU和GPU工作负载；步骤3，主管理节点划分数据并将已划分的数据分发到各个工作计算节点；步骤4，工作计算节点对接收到的数据进行并行处理并将处理的结果传输回主管理节点；步骤5，主管理节点将结果合并输出。本发明的有益效果如下：采用了主/从架构模式用于高性能大规模数据并行处理，根据DNA特征建模，将应用程序转化成的具体作业进行作业阶段划分，并根据划分结果，进行节点粒度级别的作业部署,采用线程并行优化机制，充分利用多计算核提高单节点内数据流并行任务的执行效率。

公开(公告)号：CN105677486A

公开(公告)日：2016-06-15

申请号：CN201610012000.2

申请日：2016-01-08

Applicant: 上海交通大学 ,  无锡江南计算技术研究所

Inventor： 黄林鹏 ,  吴仁克 ,  李素敏 ,  周浩杰 ,  余鹏 ,  沈凯 ,  石秋伟

IPC: G06F9/50

CPC classification number: G06F9/5066

Abstract: 本发明提供的一种数据并行处理方法，包括如下步骤：步骤1，主管理节点接收数据并获取数据的关联关系；步骤2，主管理节点计算工作计算节点的可调配的GPU和GPU工作负载；步骤3，主管理节点划分数据并将已划分的数据分发到各个工作计算节点；步骤4，工作计算节点对接收到的数据进行并行处理并将处理的结果传输回主管理节点；步骤5，主管理节点将结果合并输出。本发明的有益效果如下：采用了主/从架构模式用于高性能大规模数据并行处理，根据DNA特征建模，将应用程序转化成的具体作业进行作业阶段划分，并根据划分结果，进行节点粒度级别的作业部署,采用线程并行优化机制，充分利用多计算核提高单节点内数据流并行任务的执行效率。