一种求解回归问题的神经网络量化方法

    公开(公告)号:CN114676826A

    公开(公告)日:2022-06-28

    申请号:CN202210436486.8

    申请日:2022-04-25

    Applicant: 湖南大学

    Abstract: 本发明涉及神经网络技术领域,公开了一种求解回归问题的神经网络量化方法。本发明首先获取训练数据集;然后设计一个易于硬件实现的非线性激活函数;再基于该激活函数预训练一个32位浮点型的全连接层神经网络模型;调用预训练模型,将浮点型权重值量化成2的整数次幂的形式,将浮点型偏置值、各层浮点型输入输出以及激活函数的输入输出进行定点量化;最后利用反向传播和梯度下降算法对量化网络模型进行训练。本发明采用移位求和操作代替神经网络中的乘法运算,并采用了一种电路实现简单的激活函数,在保证网络模型拟合精度的同时,大幅减少了模型推理时的运算量,便于网络模型的硬件实现,同时也加快了回归神经网络的计算速度。

Patent Agency Ranking