公开(公告)号：CN118862979A

公开(公告)日：2024-10-29

申请号：CN202410861490.8

申请日：2024-06-28

Applicant: 西安微电子技术研究所 ,  西北工业大学

Inventor： 魏璐 ,  杨超杰 ,  马钟 ,  郑炜

IPC: G06N3/0495 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/0985 ,  G06V10/82

Abstract: 本发明公开了一种嵌入式神经网络二值化量化方法及相关设备，通过选取若干图像为校准集，作为卷积层的输入，并获得卷积层的输出，对卷积层输入、输出和权重进行初始化量化参数计算，对初始的权重量化参数进行优化和自适应调整，最后通过上述量化参数进行整型推理计算，从而有效减少整型推理造成的信息损失，提升神经网络模型在嵌入式端的计算性能。在计算资源有限的前提下，能够在减少模型计算量、参数规模和存储消耗的同时有效提升部署后神经网络模型的计算精度，使神经网络模型能够在资源受限的嵌入式端快速便捷部署实施，对神经网络算法的工程化实现具有重要的意义。

公开(公告)号：CN118297122A

公开(公告)日：2024-07-05

申请号：CN202410532067.3

申请日：2024-04-29

Applicant: 西安微电子技术研究所

Inventor： 马钟 ,  杨彧 ,  魏璐 ,  杨超杰 ,  王月娇

IPC: G06N3/0495 ,  G06N3/082 ,  G06N3/10 ,  G06F8/60 ,  G06N3/084

Abstract: 本发明公开了一种面向嵌入式平台推理计算的量化参数优化方法及系统，属于人工智能技术领域。方法包括确定神经网络模型中需要优化的层及其量化参数类型，对优化层的量化参数进行更新；在优化层中加入伪量化计算，获得所有层的模拟量化误差；基于所有层的模拟量化误差，获取量化参数优化的损失函数；根据损失函数更新神经网络模型中量化参数，生成最优量化参数模型；根据最优量化参数模型，完成对面向嵌入式平台推理计算的量化参数的优化。本发明有效降低量化神经网络模型带来的精度损失问题，提升嵌入式平台部署后神经网络模型的计算精度。

公开(公告)号：CN116956997A

公开(公告)日：2023-10-27

申请号：CN202310850298.4

申请日：2023-07-11

Applicant: 西安微电子技术研究所

Inventor： 王月娇 ,  马钟 ,  杨超杰

IPC: G06N3/0442 ,  G06N3/08 ,  G06V10/82

Abstract: 本发明涉及人工智能领域，尤其涉及一种用于时序数据处理的LSTM模型量化重训练方法、系统及设备，包括：将量化校准集修正为时间序列图像组与多样化图像组的有效组合配置形成组合图像，对LSTM模型进行量化校准；基于LSTM模型的量化校准方法，对LSTM模型进行了基于均匀‑对称量化策略的量化操作，确定LSTM模型的量化参数生成方法；针对生成LSTM量化参数的方法，采用直通滤波器的实现方式，在训练中考虑LSTM量化前后的误差，经由训练学习得到合理的LSTM模型。本发明突破现有量化方法仅仅依赖于静态量化校准集的局限，在CPU/GPU上支持实现对LSTM模型的多比特量化重训练，提升基于LSTM的神经网络模型的量化算法的量化精度。

公开(公告)号：CN116523021A

公开(公告)日：2023-08-01

申请号：CN202310467027.0

申请日：2023-04-26

Applicant: 西安微电子技术研究所

Inventor： 马钟 ,  魏璐 ,  杨超杰

IPC: G06N3/08 ,  G06N3/0464

Abstract: 本发明公开了一种面向concat算子的神经网络模型高精度量化方法及系统，在量化前按照本发明提出的方法对模型进行快速等价变换，将concat模型替换成Eltwise模型，不会影响量化前模型的计算结果。concat模型的量化需要将各输入分支设置成相同的量化参数，当各输入分支的数据范围相差较大时，由于一致的量化参数将带来巨大的精度损失，而对Eltwise模型量化时，虽然Eltwise的各输入分支也需要量化参数一致，但由于其执行的是通道内部的相加操作，可以有效避免各通道之间的差异性带来的量化损失，因此，对等价变换后的模型进行量化，能够有效避免量化concat时由于各通道差异带来的精度损失大的问题。

公开(公告)号：CN114004327A

公开(公告)日：2022-02-01

申请号：CN202110057445.3

申请日：2021-01-15

Applicant: 西安微电子技术研究所

Inventor： 魏璐 ,  马钟 ,  王月娇 ,  杨超杰

IPC: G06N3/02

Abstract: 本发明公开了一种适配于运行在FPGA上的神经网络加速器的自适应量化方法，属于神经网络领域。本发明根据神经网络加速器计算过程的实际位宽自动预判神经网络加速器计算时的溢出程度，并针对溢出的程度自适应的调整量化参数，避免神经网络算法在FPGA上计算过程中数据溢出问题的发生，从而保证神经网络模型结果的正确性。本发明的自适应量化方法，将量化操作与神经网络加速器硬件的资源规划相结合，保证了在神经网络加速器部署算法时结果的正确性，在不损失模型精度和执行效率的前提下，能够有效压缩模型规模，使之在资源受限的情况下易于部署实施，节省存储空间和计算资源，具有重要的研究意义和应用价值。