公开(公告)号：CN117574988A

公开(公告)日：2024-02-20

申请号：CN202311443379.9

申请日：2023-11-01

Applicant: 三星(中国)半导体有限公司 ,  三星电子株式会社

Inventor： 张淼 ,  吕珊珊 ,  尹钟勋 ,  杨振新 ,  张运豪 ,  赵圣宰 ,  俞炳仁 ,  孙昌用

IPC: G06N3/084 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/063 ,  G06N3/048

Abstract: 提供了一种神经网络的量化位宽学习方法，包括：对神经网络中的变换器的量化区间和离散器的量化位宽进行初始化，其中，神经网络的卷积层和/或全连接层包括量化模块，量化模块包括变换器和离散器；基于初始化的量化区间和量化位宽，保持神经网络的权重不变来对神经网络的离散器的量化位宽进行训练直至损失函数收敛为止，其中，损失函数指示不包括量化模块的神经网络的权重和激活与包括量化模块的神经网络的权重和激活之间的分布距离；获得采用训练后的量化位宽的神经网络。