公开(公告)号：CN111488985B

公开(公告)日：2023-11-14

申请号：CN202010269318.5

申请日：2020-04-08

Applicant: 华南理工大学

Inventor： 吴庆耀 ,  刘璟 ,  谭明奎

IPC: G06N3/082 ,  G06N3/047 ,  G06N3/0464

Abstract: 本申请公开了一种深度神经网络模型压缩训练方法、装置、设备、介质，该方法包括：获取目标训练数据集；将所述目标训练数据集输入到预先构建的第一深度神经网络模型和第二深度神经网络模型，得到第一输出和第二输出；根据所述第一输出和所述第二输出构建目标损失函数；利用所述目标损失函数对所述第一深度神经网络模型的第一全精度权重参数和所述第二深度神经网络模型的第二全精度权重参数进行更新；利用所述第二全精度权重参数更新所述第二深度神经网络模型的量化权重参数，并在所述目标损失函数满足预设要求时，将所述第二深度神经网络模型作为训练后压缩神经网络模型。这样能够减小模型的大小，降低存储和内存带宽需求，降低计算代价。

公开(公告)号：CN111488985A

公开(公告)日：2020-08-04

申请号：CN202010269318.5

申请日：2020-04-08

Applicant: 华南理工大学

Inventor： 吴庆耀 ,  刘璟 ,  谭明奎

IPC: G06N3/08 ,  G06N3/04

Abstract: 本申请公开了一种深度神经网络模型压缩训练方法、装置、设备、介质，该方法包括：获取目标训练数据集；将所述目标训练数据集输入到预先构建的第一深度神经网络模型和第二深度神经网络模型，得到第一输出和第二输出；根据所述第一输出和所述第二输出构建目标损失函数；利用所述目标损失函数对所述第一深度神经网络模型的第一全精度权重参数和所述第二深度神经网络模型的第二全精度权重参数进行更新；利用所述第二全精度权重参数更新所述第二深度神经网络模型的量化权重参数，并在所述目标损失函数满足预设要求时，将所述第二深度神经网络模型作为训练后压缩神经网络模型。这样能够减小模型的大小，降低存储和内存带宽需求，降低计算代价。

公开(公告)号：CN117454943A

公开(公告)日：2024-01-26

申请号：CN202311404414.6

申请日：2023-10-26

Applicant: 华南理工大学

Inventor： 谭明奎 ,  刘璟 ,  黎浩坤 ,  康海龙

IPC: G06N3/0495 ,  G06N3/082 ,  G06N3/084 ,  G06N3/0442

Abstract: 本发明公开了一种自动模型压缩方法、装置及介质，属于模型压缩技术。其中方法包括：获取待压缩的目标模型；对目标模型联合执行量化和剪枝，以完成模型压缩；其中，所述对目标模型联合执行量化和剪枝，包括：统一剪枝和量化的视角，将网络剪枝重新定义为量化的一个特例；引入一个单路径模型，用于编码压缩配置，其中，高比特表征值被分解为最低比特表征值和一系列偏移量的总和；依靠单路径模型，引入可学习的二进制门来对压缩配置的选择进行编码，并同时学习二进制门和网络参数；将压缩配置搜索问题转化为子集选择问题；导出混合精度量化配置，支持后续的逐层训练后量化。本发明旨在寻找网络剪枝和量化之间的最佳权衡，进一步提高了技术效果。