-
公开(公告)号:CN104023062A
公开(公告)日:2014-09-03
申请号:CN201410255149.4
申请日:2014-06-10
Applicant: 上海大学
IPC: H04L29/08
Abstract: 本发明涉及一种面向异构计算的分布式大数据系统的集群硬件架构。本发明主要包括:通过存储节点构建分布式文件系统对数据I/O操作进行专门处理,提供高达18TB的磁盘阵列进行冗余数据存储,提高数据安全和系统稳定性;通过管理节点处理用户提交的数据和计算任务,并均衡分配给计算节点上的各计算设备进行处理,通过CUDA或OpenGL异构编程模型充分利用GPU的高浮点运算能力;采用专用高速网络InfiniBand连接各节点,并通过CUDA-awareMPI和GPUDirect技术根据网络通信条件,智能化地利用优化的数据通信路径进行消息的发送和接收;通过集群渲染节点规约各节点的结果,并形成最终的结果通过OpenGL进行绘制形成可视化输出。通过将异构计算、分布式计算以及数据可视化结合在一起,充分利用GPU的计算能力和图形处理能力,构建了一种面向异构计算的分布式大数据系统的集群硬件架构。