公开(公告)号：CN117725973A

公开(公告)日：2024-03-19

申请号：CN202311785500.6

申请日：2023-12-22

Applicant: 福州大学

Inventor： 张栋 ,  黄锴 ,  周嘉晟 ,  郑林滢 ,  陈昕杨 ,  林声睿 ,  刘宏岩 ,  施澎湃 ,  朱龙隆

IPC: G06N3/08

Abstract: 本发明涉及一种基于可编程网络设计的加速多神经网络训练方法。该方法利用可编程交换机充当参数服务器，运用网内聚合技术进行流式聚合；在神经网络训练的部署阶段，考虑真实物理网络的限制和资源差异，通过ILP和贪心算法来优化参数服务器和Worker节点的选择，从而提高了训练效率和系统性能，并且能够在训练过程中支持部署方案的动态优化；同时设计新的数据包头部字段协议以支持多神经网络同时在线训练，并赋予各作业及数据包优先级提升系统协调性。本发明通过优化聚合节点的选择以及设计新的协议有效地提升网络灵活性、性能、效率，从而加速神经网络的训练过程。