-
公开(公告)号:CN118780330A
公开(公告)日:2024-10-15
申请号:CN202310373860.9
申请日:2023-04-10
Applicant: 上海大学
IPC: G06N3/063 , G06N3/082 , G06N3/0464
Abstract: 一种基于FPGA的神经网络数据量化实现方法及系统,通过对待压缩神经网络模型进行预训练以确定量化范围,根据确定的范围进行非对称逐通道量化后将层间的反量化结果与量化结果合并,再将比例因子和零点值融合,以节省大量浮点运算,得到通道的每个量化激活值,最后进行融合批次归一化的卷积处理得到压缩后的神经网络推理过程中的定点权重、定点激活值和定点偏置,用于部署在FPGA上实现全定点推理流程。本发明在8比特的权重和激活值量化下实现定点推理,FPGA中仅仅需要读取python平台输出的定点格式输出特征图和定点权重,节省流水线操作的同时,在ImageNet上训练的ResNet50模型手动量化后准确率达到70.41%,满足实际部署需要。