训练用于图像识别的神经网络的方法和设备

    公开(公告)号:CN114358274A

    公开(公告)日:2022-04-15

    申请号:CN202110662202.2

    申请日:2021-06-15

    Abstract: 公开了一种训练用于图像识别的神经网络的方法和设备。所述方法包括:接收输入图像集;以输入图像集为输入执行预训练的神经网络,以获取推断的结果值,并基于与输入图像集对应的预定结果值和推断的结果值获取预训练的神经网络的第一任务准确度;基于通道单元,通过基于预设学习权重并基于与预训练的神经网络的多个层中的每个的通道对应的逐通道修剪参数调整多个通道的节点之间的权重,来修剪神经网络;基于第一任务准确度和修剪后的神经网络的任务准确度更新学习权重;基于更新后的学习权重和修剪后的神经网络的任务准确度更新逐通道修剪参数;和基于通道单元,基于更新后的学习权重并基于更新后的逐通道修剪参数重新修剪修剪后的神经网络。

    用于对神经网络的参数进行量化的方法和装置

    公开(公告)号:CN109389219B

    公开(公告)日:2024-04-09

    申请号:CN201810868446.4

    申请日:2018-08-01

    Abstract: 一种对神经网络的参数进行量化的方法,所述方法包括:根据通过使用浮点来预训练的神经网络的数据,针对在每个特征图和核中包括的每个通道中使用的浮点型参数值,分析每个通道的统计分布;基于每个通道的所述统计分布,确定每个通道的参数的定点表达,所述定点表达在统计上覆盖所述参数值的分布范围;基于执行卷积运算的结果,确定每个通道的偏置和权重的小数长度,作为每个通道的所述定点表达的参数;以及生成定点型量化神经网络,所述定点型量化神经网络所具有的每个通道的偏置和权重具有所确定的小数长度。

    用于神经网络量化的方法和装置
    3.
    发明公开

    公开(公告)号:CN111428852A

    公开(公告)日:2020-07-17

    申请号:CN201910922232.5

    申请日:2019-09-26

    Abstract: 根据用于神经网络量化的方法和装置,通过以下方式来生成经量化的神经网络:执行神经网络的学习;针对第一神经网络的每一层,获得初始权重与通过每个周期的学习来确定的经更新的权重之间的权重差;分析每一层的权重差的统计量;基于经分析的统计量,从各层中确定要以较低比特精度来量化的一个或多个层;以及通过以较低比特精度量化所确定的一个或多个层来生成第二神经网络。

Patent Agency Ranking