一种面向嵌入式平台推理计算的量化参数优化方法及系统

    公开(公告)号:CN118297122A

    公开(公告)日:2024-07-05

    申请号:CN202410532067.3

    申请日:2024-04-29

    Abstract: 本发明公开了一种面向嵌入式平台推理计算的量化参数优化方法及系统,属于人工智能技术领域。方法包括确定神经网络模型中需要优化的层及其量化参数类型,对优化层的量化参数进行更新;在优化层中加入伪量化计算,获得所有层的模拟量化误差;基于所有层的模拟量化误差,获取量化参数优化的损失函数;根据损失函数更新神经网络模型中量化参数,生成最优量化参数模型;根据最优量化参数模型,完成对面向嵌入式平台推理计算的量化参数的优化。本发明有效降低量化神经网络模型带来的精度损失问题,提升嵌入式平台部署后神经网络模型的计算精度。

Patent Agency Ranking