一种基于类别可分离性的神经网络混合精度量化方法

    公开(公告)号:CN116129246A

    公开(公告)日:2023-05-16

    申请号:CN202310170796.4

    申请日:2023-02-27

    Applicant: 厦门大学

    Abstract: 一种基于类别可分离性的神经网络混合精度量化方法,涉及人工神经网络的压缩与加速。包括以下步骤:(1)在数据集中采样小批量的图片,并将其输入神经网络,获得逐层的特征图;(2)计算得到每层网络的类别可分离性指标;(3)根据每层网络的类别可分离性指标计算得到其重要性指标;(4)根据每层网络的重要性指标与其对应的计算量,解一个线性规划问题(以目标计算量为约束,最大化全局重要性为目标),最终得到可靠的逐层比特数配置。(5)根据该逐层比特数配置,对网络进行量化。利用激活值的内在特征,定义类别可分离性指标,仅利用小批量数据通过模型,在短时间内便能获得适用于该模型的可靠的比特数配置。

Patent Agency Ranking