公开(公告)号：CN114117918A

公开(公告)日：2022-03-01

申请号：CN202111426929.7

申请日：2021-11-28

Applicant: 东南大学 ,  江苏省未来网络创新研究院

Inventor： 张竞慧 ,  黄天宇 ,  王宇晨 ,  金嘉晖 ,  东方 ,  张毅晔 ,  徐波

IPC: G06F30/27 ,  G06N3/04 ,  G06N3/08 ,  G06F111/04 ,  G06F119/06 ,  G06F119/08

Abstract: 本发明提供一种温度约束下的终端设备异构处理器推断加速方法，针对工业生产环境下配备多个异构处理器的智能终端设备，解决深度神经网络层间异构、处理器异构和环境温度导致的终端设备推断效率低的问题。本发明首先考虑工业生产的环境温度和终端设备处理器功率，建立了温度约束下的终端设备动态频率模型，并使用温度感知的动态频率算法设定设备频率；然后，根据深度神经网络中不同层的计算方式和结构特性，设计了深度神经网络单层并行方法；最后，利用终端设备中的异构处理器，设计了面向异构处理器的深度神经网络单层计算任务分配方法，保障了终端设备异构处理器协同推断的低延迟和鲁棒性。

公开(公告)号：CN112784968A

公开(公告)日：2021-05-11

申请号：CN202110134151.6

申请日：2021-01-29

Applicant: 东南大学

Inventor： 张竞慧 ,  李剑歌 ,  王宇晨 ,  金嘉晖 ,  东方 ,  罗军舟

IPC: G06N3/04 ,  G06N3/08 ,  G06F9/50

Abstract: 本发明提供一种加速深度神经网络分布式训练的混合流水线并行方法，主要解决传统GPU集群分布式训练过程中资源利用不充分，无法实现高效分布式训练的问题。本发明的核心机制主要包含三个部分，分别是深度学习模型刻画、模型混合划分与混合流水线并行划分。本发明首先针对深度学习应用在GPU训练过程中的资源需求，刻画出其训练过程中计算量、中间结果通信数量、参数同步量等相应指标，并将其作为模型混合划分与任务放置的输入。然后根据模型刻画结果和GPU集群的环境，设计两个基于动态规划的划分算法，实现模型混合划分与混合流水线并行划分，目的是最小化划分之后各阶段任务执行时间的最大值，以确保负载均衡，实现深度神经网络的高效分布式训练。

公开(公告)号：CN112784968B

公开(公告)日：2024-12-03

申请号：CN202110134151.6

申请日：2021-01-29

Applicant: 东南大学

Inventor： 张竞慧 ,  李剑歌 ,  王宇晨 ,  金嘉晖 ,  东方 ,  罗军舟

IPC: G06N3/045 ,  G06N3/084 ,  G06F9/50

Abstract: 本发明提供一种加速深度神经网络分布式训练的混合流水线并行方法，主要解决传统GPU集群分布式训练过程中资源利用不充分，无法实现高效分布式训练的问题。本发明的核心机制主要包含三个部分，分别是深度学习模型刻画、模型混合划分与混合流水线并行划分。本发明首先针对深度学习应用在GPU训练过程中的资源需求，刻画出其训练过程中计算量、中间结果通信数量、参数同步量等相应指标，并将其作为模型混合划分与任务放置的输入。然后根据模型刻画结果和GPU集群的环境，设计两个基于动态规划的划分算法，实现模型混合划分与混合流水线并行划分，目的是最小化划分之后各阶段任务执行时间的最大值，以确保负载均衡，实现深度神经网络的高效分布式训练。