公开(公告)号：CN116883229A

公开(公告)日：2023-10-13

申请号：CN202310892762.6

申请日：2023-07-20

Applicant: 东南大学

Inventor： 张竞慧 ,  牛耕 ,  金嘉晖 ,  东方 ,  罗军舟

IPC: G06T1/40 ,  G06N3/084 ,  G06V10/82 ,  G06V10/94 ,  G06V10/764

Abstract: 本发明提供了一种异构GPU集群中加速神经网络训练的流水线并行方法，核心机制主要包含三个部分，分别是深度学习模型刻画、同构GPU模型划分及任务放置与异构GPU模型划分及任务放置。本发明首先针对深度学习应用在GPU训练过程中的资源需求，刻画出使用不同类型的GPU时训练过程中计算量、中间结果通信数量、参数同步量等相应指标，并将其作为模型划分与任务放置的输入。然后根据模型刻画结果和GPU集群的环境，设计基于动态规划的划分算法，实现异构GPU和异构带宽感知的流水线混合并行模型划分与任务放置，目的是最小化划分之后各阶段任务执行时间的最大值，以确保负载均衡，实现深度神经网络的高效分布式训练。