公开(公告)号：CN117391145A

公开(公告)日：2024-01-12

申请号：CN202311331237.3

申请日：2023-10-13

Applicant: 西安交通大学

Inventor： 梅魁志 ,  曾成龙 ,  徐衡祥 ,  赵桦筝 ,  郎海洪 ,  赵英海 ,  高凡 ,  李欢乐

IPC: G06N3/0464 ,  G06N5/04 ,  G06N3/08

Abstract: 本发明公开了一种卷积神经网络量化推理优化方法及系统，对卷积神经网络模型的激活层进行定点化处理；再对卷积神经网络模型进行预训练，然后添加伪量化节点微调卷积神经网络模型；对量化系数scale进行松弛处理，存储各个数据的二次幂量化系数scale；利用scale对卷积神经网络模型进行量化，在卷积神经网络模型推理时，确定空闲位数用于保留负数数据的小数部分信息；利用保留的小数部分信息，连接卷积层时对数据进位传递给下一卷积层作为输入，连接add算子时，考虑小数部分信息实现不同量化系数scale下的量化后数据相加，完成适于片上定点化计算实现的卷积神经网络量化与推理优化。本发明在保证模型精度的前提下进而提升卷积神经网络的推理效率。