一种基于参数范数的神经网络量化方法

    公开(公告)号:CN108805257A

    公开(公告)日:2018-11-13

    申请号:CN201810387893.8

    申请日:2018-04-26

    Applicant: 北京大学

    CPC classification number: G06N3/02

    Abstract: 本发明提供一种基于参数范数的神经网络量化方法,该方法包括:对于给定的预训练神经网络参数模型,通过对所需量化层的参数的取值进行统计,划分量化中心;根据所选择的量化中心,计算每个相应量化层的参数的量化损失;将量化损失与神经网络训练参数模型的分类误差损失相加,作为总损失,并进行反向传播优化,同时量化中心也在优化时进行更新;待训练结束,根据量化中心对相应层进行量化操作,得到量化后的压缩模型。本发明提供的方法能够划分权重中心,并通过施加简单的量化损失,使用与传统方法相同的优化器,对神经网络模型进行量化,从而得到原始模型的压缩模型,减小网络存储体积与运算复杂性。

Patent Agency Ranking