公开(公告)号：CN113033764A

公开(公告)日：2021-06-25

申请号：CN202010282701.4

申请日：2020-04-12

Applicant: 北京工业大学 ,  中国科学院计算技术研究所

Inventor： 崔碧峰 ,  许建荣 ,  李超 ,  徐勇军

IPC: G06N3/04 ,  G06N3/08

Abstract: 本发明公开了基于高斯分布特征的深层卷积神经网络压缩加速方法，适用于深度神经网络模型的压缩。首先训练好一个原始的卷积神经网络，然后逐层对该网络进行高斯分析，根据分析的结果选择保留还是删除的卷积核，之后进训练，直到模型剪枝完成。本发明在进行压缩剪枝过程中，采用的技术方案是根据分布收敛特征进行剪枝，在压缩的过程中没有引入其他的剪枝约束超参数，因此压缩的过程是自动化搜索的。本发明的压缩结果是直接压缩出更小的模型，没有引入mask对权重进行操作，压缩的结果可以不依赖于相关的加速库而直接产生加速效果，始终让模型的性能保证在原来的基础上，即没有出现任何的精度损失下进行的。

公开(公告)号：CN112906854A

公开(公告)日：2021-06-04

申请号：CN202011205437.0

申请日：2020-11-02

Applicant: 北京工业大学

Inventor： 崔碧峰 ,  许建荣 ,  李超 ,  徐勇军

IPC: G06N3/04 ,  G06N3/08

Abstract: 本发明公开了基于高斯分布特征的深层卷积神经网络压缩加速方法，适用于深度神经网络模型的压缩。首先训练好一个原始的卷积神经网络，然后逐层对该网络进行高斯分析，根据分析的结果选择保留还是删除的卷积核，之后进训练，直到模型剪枝完成。本发明在进行压缩剪枝过程中，采用的技术方案是根据分布收敛特征进行剪枝，在压缩的过程中没有引入其他的剪枝约束超参数，因此压缩的过程是自动化搜索的。本发明的压缩结果是直接压缩出更小的模型，没有引入mask对权重进行操作，压缩的结果可以不依赖于相关的加速库而直接产生加速效果，始终让模型的性能保证在原来的基础上，即没有出现任何的精度损失下进行的。