数据并行处理方法及系统

    公开(公告)号:CN105677486B

    公开(公告)日:2019-03-22

    申请号:CN201610012000.2

    申请日:2016-01-08

    Abstract: 本发明提供的一种数据并行处理方法,包括如下步骤:步骤1,主管理节点接收数据并获取数据的关联关系;步骤2,主管理节点计算工作计算节点的可调配的GPU和GPU工作负载;步骤3,主管理节点划分数据并将已划分的数据分发到各个工作计算节点;步骤4,工作计算节点对接收到的数据进行并行处理并将处理的结果传输回主管理节点;步骤5,主管理节点将结果合并输出。本发明的有益效果如下:采用了主/从架构模式用于高性能大规模数据并行处理,根据DNA特征建模,将应用程序转化成的具体作业进行作业阶段划分,并根据划分结果,进行节点粒度级别的作业部署,采用线程并行优化机制,充分利用多计算核提高单节点内数据流并行任务的执行效率。

    数据并行处理方法及系统

    公开(公告)号:CN105677486A

    公开(公告)日:2016-06-15

    申请号:CN201610012000.2

    申请日:2016-01-08

    CPC classification number: G06F9/5066

    Abstract: 本发明提供的一种数据并行处理方法,包括如下步骤:步骤1,主管理节点接收数据并获取数据的关联关系;步骤2,主管理节点计算工作计算节点的可调配的GPU和GPU工作负载;步骤3,主管理节点划分数据并将已划分的数据分发到各个工作计算节点;步骤4,工作计算节点对接收到的数据进行并行处理并将处理的结果传输回主管理节点;步骤5,主管理节点将结果合并输出。本发明的有益效果如下:采用了主/从架构模式用于高性能大规模数据并行处理,根据DNA特征建模,将应用程序转化成的具体作业进行作业阶段划分,并根据划分结果,进行节点粒度级别的作业部署,采用线程并行优化机制,充分利用多计算核提高单节点内数据流并行任务的执行效率。

    基于嵌入式处理器存储接口的集群计算系统混合通信方法

    公开(公告)号:CN102904943B

    公开(公告)日:2015-07-08

    申请号:CN201210372418.6

    申请日:2012-09-28

    Abstract: 本发明提供了一种基于嵌入式处理器存储接口的集群计算系统混合通信方法。将嵌入式处理器集成的网络控制器通过网络收发器连接至第一网络。将并行存储接口通过混合网络通信模块连接至第二网络。当并行接口状态机从与并行存储接口连接的存储总线接收到数据时,将数据存放到发送队列。利用接收控制逻辑从第二网络接收到数据包并拆解数据包,然后根据数据包的目的地址,选择将数据包存放到接收队列或转发队列,其中接收队列缓存待转发至并行存储接口的数据。当接收队列非空,且与并行存储接口连接的存储总线未占用时,将数据发送到存储总线上。利用发送控制逻辑对发送队列和转发队列进行仲裁,基于年龄策略选择最老年龄的数据包进行发送。

    输入输出能力增强的可重构微服务器

    公开(公告)号:CN103034295A

    公开(公告)日:2013-04-10

    申请号:CN201210575825.7

    申请日:2012-12-26

    Abstract: 一种输入输出能力增强的可重构微服务器,包括:微处理器、系统总线、内存、可重构加速部件以及输入输出外设;其中,微处理器、内存和输入输出外设连接至系统总线;微处理器直接连接至可重构加速部件;可重构加速部件包括:可重构运算加速模块、多个可重构I/O增强单元、以及与可重构I/O增强单元中的每一个单独连接的多个I/O控制器;其中,多个可重构I/O增强单元连接至可重构运算加速模块和系统总线;而且其中,可重构I/O增强单元中的每一个的对应的多个I/O控制器连接至具有相同资源类型的I/O设备,由此可重构I/O增强单元中的每一个及其对应的多个I/O控制器用于控制与具有相同资源类型的I/O设备之间的数据交换。

    可重构集群的模块化三维构造方法和可重构集群构造结构

    公开(公告)号:CN102902656A

    公开(公告)日:2013-01-30

    申请号:CN201210370445.X

    申请日:2012-09-28

    Abstract: 本发明提供了一种可重构集群的模块化三维构造方法和可重构集群构造结构。将可重构集群所涉及的通用处理器节点、可重构加速器、集群互连网络三大主要部分进行模块化划分,从而形成通用处理器节点模块、可重构加速器基板和互连网络支撑底板三个相互支撑的功能模块;第二步骤,用于定义所述通用处理器节点模块、所述可重构加速器基板和所述互连网络支撑底板之间的功能接口;第三步骤,用于通过接插件实现所述通用处理器节点模块和所述可重构加速器基板的水平堆叠,形成一个可重构计算节点;第四步骤,用于将所述可重构计算节点以垂直插装的方式插装在具有网络交换能力的所述互连网络支撑底板上,从而形成一个基于三维构造的可重构集群结构。

Patent Agency Ranking