公开(公告)号：CN109919310B

公开(公告)日：2021-05-18

申请号：CN201910035753.9

申请日：2019-01-15

Applicant: 中国科学院信息工程研究所

Inventor： 刘万涛 ,  郭锦荣 ,  虎嵩林 ,  韩冀中

IPC: G06N3/063

Abstract: 本发明涉及一种面向深度学习训练任务的GPU内存优化方法及系统。该方法包括：(1)设计基本换入换出操作；(2)在训练开始前首先进行静态数据采集；(3)不采取换入换出策略，先训练若干个epoches，在此期间进行动态数据采集；(4)建立换入换出策略的性能模型，并明确GPU计算、内存、PCIe通信三者之间的制约关系；(5)根据性能模型确定最优策略；(6)剩余的epoch采用最优minibatch size及其匹配的换入换出策略继续训练直至结束。本发明解决了超深神经网络模型无法训练或可训练minibatch size太小引起训练效率低的问题，能够充分利用GPU资源提升超深神经网络模型训练效率。

公开(公告)号：CN109919310A

公开(公告)日：2019-06-21

申请号：CN201910035753.9

申请日：2019-01-15

Applicant: 中国科学院信息工程研究所

Inventor： 刘万涛 ,  郭锦荣 ,  虎嵩林 ,  韩冀中

IPC: G06N3/063

Abstract: 本发明涉及一种面向深度学习训练任务的GPU内存优化方法及系统。该方法包括：(1)设计基本换入换出操作；(2)在训练开始前首先进行静态数据采集；(3)不采取换入换出策略，先训练若干个epoches，在此期间进行动态数据采集；(4)建立换入换出策略的性能模型，并明确GPU计算、内存、PCIe通信三者之间的制约关系；(5)根据性能模型确定最优策略；(6)剩余的epoch采用最优minibatch size及其匹配的换入换出策略继续训练直至结束。本发明解决了超深神经网络模型无法训练或可训练minibatch size太小引起训练效率低的问题，能够充分利用GPU资源提升超深神经网络模型训练效率。

公开(公告)号：CN109902818A

公开(公告)日：2019-06-18

申请号：CN201910035752.4

申请日：2019-01-15

Applicant: 中国科学院信息工程研究所

Inventor： 刘万涛 ,  郭锦荣 ,  虎嵩林 ,  韩冀中

IPC: G06N3/063 ,  G06N3/08 ,  G06T1/20

Abstract: 本发明涉及一种面向深度学习训练任务的分布式加速方法及系统。该方法的步骤包括：(1)搭建分布式GPU训练集群；(2)采用换入换出策略，调节分布式GPU训练集群中单个GPU工作节点上的minibatch size；(3)根据步骤2)确定的minibatch size调整学习率；(4)采用步骤(2)和(3)确定的超参数minibatch size和学习率进行深度学习训练。本发明在不影响训练准确率的前提下，简单高效地通过减少集群间参数更新通信的次数大幅度地压缩通信时间，相较于单GPU模式，在多GPU模式下能够充分提高集群扩展效率，对超深神经网络模型的训练过程实现加速。

公开(公告)号：CN109902818B

公开(公告)日：2021-05-25

申请号：CN201910035752.4

申请日：2019-01-15

Applicant: 中国科学院信息工程研究所

Inventor： 刘万涛 ,  郭锦荣 ,  虎嵩林 ,  韩冀中

IPC: G06N3/063 ,  G06N3/08 ,  G06T1/20

Abstract: 本发明涉及一种面向深度学习训练任务的分布式加速方法及系统。该方法的步骤包括：(1)搭建分布式GPU训练集群；(2)采用换入换出策略，调节分布式GPU训练集群中单个GPU工作节点上的minibatch size；(3)根据步骤2)确定的minibatch size调整学习率；(4)采用步骤(2)和(3)确定的超参数minibatch size和学习率进行深度学习训练。本发明在不影响训练准确率的前提下，简单高效地通过减少集群间参数更新通信的次数大幅度地压缩通信时间，相较于单GPU模式，在多GPU模式下能够充分提高集群扩展效率，对超深神经网络模型的训练过程实现加速。