神经网络以及修剪神经网络的权重的方法

    公开(公告)号:CN109919297A

    公开(公告)日:2019-06-21

    申请号:CN201811327128.3

    申请日:2018-11-08

    Abstract: 一种使用解析阈值函数h(w)来修剪神经网络的权重的方法和一种权重已得到最优修剪的神经网络。所述神经网络包括:多个层,其中每一个层包括与这个层相关联的一组权重w,所述权重w会增强神经网络的速度性能、神经网络的准确度或同时增强神经网络的速度性能与神经网络的准确度。每一组权重w是基于:通过响应于输入训练数据对神经网络的输出进行反向传播而得到最小化的成本函数C。成本函数C还基于成本函数C相对于解析阈值函数h(w)的第一参数的导数及所述成本函数C相对于所述解析阈值函数h(w)的第二参数的导数得到最小化。

    训练用于图像识别的神经网络的方法和装置

    公开(公告)号:CN111695687B

    公开(公告)日:2025-04-18

    申请号:CN202010175326.3

    申请日:2020-03-13

    Abstract: 提供了一种训练用于图像识别的神经网络的方法和装置。所述神经网络包括具有已经被联合地修剪和量化的权重和输出特征图的至少一个层。使用解析阈值函数来修剪层的权重。基于针对所有量化水平的权重的量化和解量化的加权平均来量化修剪之后剩余的每个权重,以形成层的量化的权重。基于层的量化的权重来生成层的输出特征图。基于针对所有量化水平的输出特征图的量化和解量化的加权平均来量化层的每个输出特征图。使用代价函数来更新解析阈值函数的参数、权重的所有量化水平的加权平均以及层的每个输出特征图的加权平均。

    经由选择性修剪来加速长短期记忆网络

    公开(公告)号:CN110084357B

    公开(公告)日:2024-02-27

    申请号:CN201910025315.4

    申请日:2019-01-10

    Abstract: 一种用于修剪的系统和方法。神经网络包括多个长短期记忆单元,每个长短期记忆单元包括具有权重矩阵Wc的输入、具有权重矩阵Wi的输入门、具有权重矩阵Wf的遗忘门、以及具有权重矩阵Wo的输出门。在一些实施例中,在初始训练之后,修剪权重矩阵Wi、Wf和Wo中的一个或多个,并且保留权重矩阵Wc不变。然后,对神经网络进行再训练,在再训练期间将经修剪的权重约束成保持为零。

    压缩神经网络的激活图的系统、方法及其解压缩方法

    公开(公告)号:CN111144562A

    公开(公告)日:2020-05-12

    申请号:CN201911035382.0

    申请日:2019-10-29

    Abstract: 公开一种压缩神经网络的激活图的系统、方法及其解压缩方法。系统和方法提供神经网络的层的激活图的压缩和解压缩。对于压缩,激活图的值被稀疏化,并且激活图被配置为具有H×W×C的张量大小的张量,其中,H表示所述张量的高度,W表示所述张量的宽度,C表示所述张量的通道的数量。所述张量被格式化为具有值的至少一个块。使用至少一种无损压缩模式独立于所述张量的其他块对每个块进行编码。对于解压缩,使用与用于压缩所述块的所述至少一种压缩模式对应的至少一种解压缩模式,独立于其他块对每个块进行解码;以及将每个块解格式化为具有H×W×C的大小的张量。

    训练用于图像识别的神经网络的方法和装置

    公开(公告)号:CN111695687A

    公开(公告)日:2020-09-22

    申请号:CN202010175326.3

    申请日:2020-03-13

    Abstract: 提供了一种训练用于图像识别的神经网络的方法和装置。所述神经网络包括具有已经被联合地修剪和量化的权重和输出特征图的至少一个层。使用解析阈值函数来修剪层的权重。基于针对所有量化水平的权重的量化和解量化的加权平均来量化修剪之后剩余的每个权重,以形成层的量化的权重。基于层的量化的权重来生成层的输出特征图。基于针对所有量化水平的输出特征图的量化和解量化的加权平均来量化层的每个输出特征图。使用代价函数来更新解析阈值函数的参数、权重的所有量化水平的加权平均以及层的每个输出特征图的加权平均。

    经由选择性修剪来加速长短期记忆网络

    公开(公告)号:CN110084357A

    公开(公告)日:2019-08-02

    申请号:CN201910025315.4

    申请日:2019-01-10

    Abstract: 一种用于修剪的系统和方法。神经网络包括多个长短期记忆单元,每个长短期记忆单元包括具有权重矩阵Wc的输入、具有权重矩阵Wi的输入门、具有权重矩阵Wf的遗忘门、以及具有权重矩阵Wo的输出门。在一些实施例中,在初始训练之后,修剪权重矩阵Wi、Wf和Wo中的一个或多个,并且保留权重矩阵Wc不变。然后,对神经网络进行再训练,在再训练期间将经修剪的权重约束成保持为零。

Patent Agency Ranking