公开(公告)号：CN111461293B

公开(公告)日：2023-06-06

申请号：CN202010187555.7

申请日：2020-03-17

Applicant: 湖南大学

Inventor： 李肯立 ,  陈再龙 ,  刘楚波 ,  阳王东 ,  周旭 ,  肖国庆 ,  唐卓 ,  谭光华 ,  朱宁波 ,  李克勤

IPC: G06N3/04 ,  G06N3/063 ,  G06N3/084 ,  G06T1/20

Abstract: 本申请涉及一种基于GPU的深度神经网络模型训练方法、装置、计算机设备和存储介质。该方法包括：在深度神经网络模型首次训练时，将各隐藏层的输出数据压缩至GPU主存存储，得到压缩后的输出数据和GPU的主存余量；当主存余量未达到预设余量阈值时，根据输出数据的稀疏程度值和压缩后的输出数据占用GPU主存的时间比重，确定初步隐藏层；迭代训练深度神经网络模型时，根据初步隐藏层，将初步隐藏层的输出数据压缩至GPU主存存储，得到GPU主存的初步余量，直至初步余量达到预设余量阈值；当初步余量达到预设余量阈值时，确定需要将输出数据压缩至GPU主存存储的最终隐藏层，进行训练，以得到训练好的深度神经网络模型。采用本方法能够提高GPU资源利用率。

公开(公告)号：CN111461293A

公开(公告)日：2020-07-28

申请号：CN202010187555.7

申请日：2020-03-17

Applicant: 湖南大学

Inventor： 李肯立 ,  陈再龙 ,  刘楚波 ,  阳王东 ,  周旭 ,  肖国庆 ,  唐卓 ,  谭光华 ,  朱宁波 ,  李克勤

IPC: G06N3/04 ,  G06N3/063 ,  G06N3/08 ,  G06T1/20

Abstract: 本申请涉及一种基于GPU的深度神经网络模型训练方法、装置、计算机设备和存储介质。该方法包括：在深度神经网络模型首次训练时，将各隐藏层的输出数据压缩至GPU主存存储，得到压缩后的输出数据和GPU的主存余量；当主存余量未达到预设余量阈值时，根据输出数据的稀疏程度值和压缩后的输出数据占用GPU主存的时间比重，确定初步隐藏层；迭代训练深度神经网络模型时，根据初步隐藏层，将初步隐藏层的输出数据压缩至GPU主存存储，得到GPU主存的初步余量，直至初步余量达到预设余量阈值；当初步余量达到预设余量阈值时，确定需要将输出数据压缩至GPU主存存储的最终隐藏层，进行训练，以得到训练好的深度神经网络模型。采用本方法能够提高GPU资源利用率。

公开(公告)号：CN112488304A

公开(公告)日：2021-03-12

申请号：CN202011515099.0

申请日：2020-12-21

Applicant: 湖南大学

Inventor： 刘楚波 ,  陈再龙 ,  李肯立 ,  周旭 ,  肖国庆 ,  阳王东 ,  唐卓 ,  李克勤

IPC: G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种卷积神经网络中的启发式滤波器剪枝方法和系统，包括：获取每个卷积层的每个滤波器在两个时期之间的调整余弦相似度，依照调整余弦相似度对滤波器进行软剪枝；对软剪枝更新后的卷积神经网络进行重建；重复软剪枝和重建的过程直至得到精度稳定后的卷积神经网络；获取精度稳定后的卷积神经网络的每个卷积层的每个滤波器在两个时期之间的调整余弦相似度，依照调整余弦相似度对滤波器进行硬剪枝；对硬剪枝更新后的卷积神经网络进行微调，直至卷积神经网络的网络精度达到稳定值。本发明能解决未考虑滤波器在卷积神经网络训练过程中距离和方向的动态变化而造成剪枝后的卷积神经网络精度损失严重的技术问题。