公开(公告)号：CN117391145A

公开(公告)日：2024-01-12

申请号：CN202311331237.3

申请日：2023-10-13

Applicant: 西安交通大学

Inventor： 梅魁志 ,  曾成龙 ,  徐衡祥 ,  赵桦筝 ,  郎海洪 ,  赵英海 ,  高凡 ,  李欢乐

IPC: G06N3/0464 ,  G06N5/04 ,  G06N3/08

Abstract: 本发明公开了一种卷积神经网络量化推理优化方法及系统，对卷积神经网络模型的激活层进行定点化处理；再对卷积神经网络模型进行预训练，然后添加伪量化节点微调卷积神经网络模型；对量化系数scale进行松弛处理，存储各个数据的二次幂量化系数scale；利用scale对卷积神经网络模型进行量化，在卷积神经网络模型推理时，确定空闲位数用于保留负数数据的小数部分信息；利用保留的小数部分信息，连接卷积层时对数据进位传递给下一卷积层作为输入，连接add算子时，考虑小数部分信息实现不同量化系数scale下的量化后数据相加，完成适于片上定点化计算实现的卷积神经网络量化与推理优化。本发明在保证模型精度的前提下进而提升卷积神经网络的推理效率。

公开(公告)号：CN118446253A

公开(公告)日：2024-08-06

申请号：CN202410540661.7

申请日：2024-04-30

Applicant: 西安交通大学

Inventor： 梅魁志 ,  郎海洪 ,  曾成龙 ,  赵英海 ,  李欢乐 ,  徐衡祥 ,  高延烁

IPC: G06N3/0464 ,  G06N3/048 ,  G06N3/063 ,  G06N3/08

Abstract: 本发明公开了一种面向硬件计算的全整型卷积神经网络量化优化方法及系统，考虑了硬件的计算方式，将卷积神经网络中SiLU激活函数使用查表法进行运算，降低了运算的复杂度。通过对神经网络模型所有算子插入伪量化节点，获取量化系数scale，并转为二的幂次使得硬件可以通过移位进行运算。通过一系列的优化方法，经过本设计处理后的网络在损失细微的精度上，极大提升了硬件的推理速度和模型占用的内存空间。使用保存的scale和量化参数在C++卷积神经网络仿真平台上进行测试，使得实验结果更具有说服力。