公开(公告)号：CN111783977B

公开(公告)日：2024-04-05

申请号：CN202010317520.0

申请日：2020-04-21

Applicant: 北京大学 ,  鹏城实验室

Inventor： 杨侃 ,  袁之航 ,  孙广宇 ,  汪小林 ,  罗英伟

IPC: G06N3/084 ,  G06N3/0464

Abstract: 本发明涉及一种基于分区域梯度更新的神经网络训练过程中间值存储压缩方法和装置。该方法在神经网络训练的前向传播过程中将特定区域的输入激活值保存在内存中；在神经网络训练的反向传播过程中利用保存的特定区域的输入激活值计算梯度，以更新神经网络的权重参数。所述区域是在输入激活值的长度和宽度方向上划分的区域。通过分块步长和网络稠密度确定所述特定区域，首先根据分块步长对输入激活值划分区域，并确定区域起始位置，然后根据网络稠密度确定保留区域总数。本发明对神经网络训练时需要保存的激活值进行存储优化，能够大幅降低内存成本，提高训练深度更深、规模更大的神经网络的能力，同时也可以在内存受限的设备上在线训练网络。

公开(公告)号：CN111783977A

公开(公告)日：2020-10-16

申请号：CN202010317520.0

申请日：2020-04-21

Applicant: 北京大学 ,  鹏城实验室

Inventor： 杨侃 ,  袁之航 ,  孙广宇 ,  汪小林 ,  罗英伟

IPC: G06N3/08 ,  G06N3/04

Abstract: 本发明涉及一种基于分区域梯度更新的神经网络训练过程中间值存储压缩方法和装置。该方法在神经网络训练的前向传播过程中将特定区域的输入激活值保存在内存中；在神经网络训练的反向传播过程中利用保存的特定区域的输入激活值计算梯度，以更新神经网络的权重参数。所述区域是在输入激活值的长度和宽度方向上划分的区域。通过分块步长和网络稠密度确定所述特定区域，首先根据分块步长对输入激活值划分区域，并确定区域起始位置，然后根据网络稠密度确定保留区域总数。本发明对神经网络训练时需要保存的激活值进行存储优化，能够大幅降低内存成本，提高训练深度更深、规模更大的神经网络的能力，同时也可以在内存受限的设备上在线训练网络。

公开(公告)号：CN111783976B

公开(公告)日：2023-04-21

申请号：CN202010317078.1

申请日：2020-04-21

Applicant: 北京大学 ,  鹏城实验室

Inventor： 杨侃 ,  袁之航 ,  孙广宇 ,  汪小林 ,  罗英伟

IPC: G06N3/084 ,  G06N3/08 ,  G06N3/0985 ,  G06N3/0464

Abstract: 本发明涉及一种基于窗口梯度更新的神经网络训练过程中间值存储压缩方法和装置。该方法在神经网络训练的前向传播过程中，选择部分通道的输入激活值保存在内存中；在神经网络训练的反向传播过程中，利用保存的部分通道的输入激活值计算梯度，以更新神经网络的权重参数。通过窗口选择所述部分通道，通过超参数网络稠密度决定窗口大小，即窗口内包含的通道数占总通道数的比例。通过窗口选择所述部分通道的步骤包括：确定窗口的起始位置；根据网络稠密度确定窗口大小。本发明对神经网络训练时需要保存的激活值进行存储优化，能够大幅降低内存成本，提高训练深度更深、规模更大的神经网络的能力，同时也可以在内存受限的设备上在线训练网络。

公开(公告)号：CN111783976A

公开(公告)日：2020-10-16

申请号：CN202010317078.1

申请日：2020-04-21

Applicant: 北京大学 ,  鹏城实验室

Inventor： 杨侃 ,  袁之航 ,  孙广宇 ,  汪小林 ,  罗英伟

IPC: G06N3/08 ,  G06N3/04

Abstract: 本发明涉及一种基于窗口梯度更新的神经网络训练过程中间值存储压缩方法和装置。该方法在神经网络训练的前向传播过程中，选择部分通道的输入激活值保存在内存中；在神经网络训练的反向传播过程中，利用保存的部分通道的输入激活值计算梯度，以更新神经网络的权重参数。通过窗口选择所述部分通道，通过超参数网络稠密度决定窗口大小，即窗口内包含的通道数占总通道数的比例。通过窗口选择所述部分通道的步骤包括：确定窗口的起始位置；根据网络稠密度确定窗口大小。本发明对神经网络训练时需要保存的激活值进行存储优化，能够大幅降低内存成本，提高训练深度更深、规模更大的神经网络的能力，同时也可以在内存受限的设备上在线训练网络。