公开(公告)号：CN116074179A

公开(公告)日：2023-05-05

申请号：CN202310203989.5

申请日：2023-03-06

Applicant: 鹏城实验室

Inventor： 田永鸿 ,  陈文光 ,  高文 ,  王丙强 ,  林哲 ,  章弋嘉

IPC: H04L41/044 ,  H04L41/042 ,  H04L41/16 ,  H04L67/2876 ,  H04L67/2885

Abstract: 本发明公开了一种基于CPU‑NPU协同的高扩展节点系统及训练方法，所述系统包括：通用算力模块、AI算力模块、层次访存模块、数据缓存模块和网络接口模块；通用算力模块和AI算力模块进行分组互连，用于AI节点内片间互连的扩展；层次访存模块用于在通用算力模块与AI算力模块处理数据时提供通用计算的大内存和AI计算的高带宽；数据缓存模块用于处理通用算力模块在计算时的数据IO吞吐；网络接口模块用于将通用算力模块和AI算力模块在计算时进行分离通信。本发明从AI节点的互连、访存、存储、网络接口出发提出高扩展节点架构，实现AI算力‑层次访存‑片间互连均衡设计，以满足AI大模型训练需求。

公开(公告)号：CN115809685A

公开(公告)日：2023-03-17

申请号：CN202310088059.X

申请日：2023-02-09

Applicant: 鹏城实验室

Inventor： 田永鸿 ,  陈文光 ,  高文 ,  王丙强 ,  林哲 ,  章弋嘉

IPC: G06N3/04 ,  G06N3/063

Abstract: 本发明涉及通信技术领域，具体是涉及一种NPU集群网络结构和网络互连方法。本发明将用于神经网络模型训练的节点划分为两组，分别是第一组处理器和第二组处理器，而且将网络平面也划分为两个平面，一个网络平面只负责一组处理器在训练神经网络模型过程中产生数据的传输，从而提升了由各个NPU处理器构成的NPU集群传输数据的效率，一旦传输数据的效率提升，那么数据传输的效率提升，则数据传输的效率就不会制约NPU集群的算力，从而提升了NPU集群的算力。

公开(公告)号：CN115809685B

公开(公告)日：2023-07-25

申请号：CN202310088059.X

申请日：2023-02-09

Applicant: 鹏城实验室

Inventor： 田永鸿 ,  陈文光 ,  高文 ,  王丙强 ,  林哲 ,  章弋嘉

IPC: G06N3/04 ,  G06N3/063

Abstract: 本发明涉及通信技术领域，具体是涉及一种NPU集群网络结构和网络互连方法。本发明将用于神经网络模型训练的节点划分为两组，分别是第一组处理器和第二组处理器，而且将网络平面也划分为两个平面，一个网络平面只负责一组处理器在训练神经网络模型过程中产生数据的传输，从而提升了由各个NPU处理器构成的NPU集群传输数据的效率，一旦传输数据的效率提升，那么数据传输的效率提升，则数据传输的效率就不会制约NPU集群的算力，从而提升了NPU集群的算力。

公开(公告)号：CN116074179B

公开(公告)日：2023-07-14

申请号：CN202310203989.5

申请日：2023-03-06

Applicant: 鹏城实验室

Inventor： 田永鸿 ,  陈文光 ,  高文 ,  王丙强 ,  林哲 ,  章弋嘉

IPC: H04L41/044 ,  H04L41/042 ,  H04L41/16 ,  H04L67/2876 ,  H04L67/2885

Abstract: 本发明公开了一种基于CPU‑NPU协同的高扩展节点系统及训练方法，所述系统包括：通用算力模块、AI算力模块、层次访存模块、数据缓存模块和网络接口模块；通用算力模块和AI算力模块进行分组互连，用于AI节点内片间互连的扩展；层次访存模块用于在通用算力模块与AI算力模块处理数据时提供通用计算的大内存和AI计算的高带宽；数据缓存模块用于处理通用算力模块在计算时的数据IO吞吐；网络接口模块用于将通用算力模块和AI算力模块在计算时进行分离通信。本发明从AI节点的互连、访存、存储、网络接口出发提出高扩展节点架构，实现AI算力‑层次访存‑片间互连均衡设计，以满足AI大模型训练需求。