-
公开(公告)号：CN115293342A
公开(公告)日：2022-11-04
申请号：CN202210264342.9
申请日：2022-03-17
Applicant: 西北农林科技大学
Abstract: 本发明提出了一种基于混合并行的深度卷积神经网络并行训练方法，用于快速训练具有大数据集的大模型。该方法包含组内并行和组间并行。对于组内并行性，首先使用自动模型划分方法将模型分割为多个分区，并将多个分区分别放置在不同的GPU上。然后，将划分后的小批量数据一个接一个地连续发送到不同的GPU上，并且以流水线并行方式训练多个分区。组间并行在每个分组上复制模型副本，独立的计算梯度，然后在组间分区上将这些梯度的汇总更新，以达到最大化计算与通信重叠，从而减少梯度同步时间。实验结果表明，与传统数据并行和最先进的并行训练torchgpipe方法相比，本发明提出的方法加速性能得到了明显提升。
Search Results
1
records
(took 0.018 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
