公开(公告)号：CN112396181A

公开(公告)日：2021-02-23

申请号：CN202011633174.3

申请日：2020-12-31

Applicant: 之江实验室

Inventor： 王宏升 ,  管淑祎

IPC: G06N3/08 ,  G06N3/04

Abstract: 本发明公开了一种卷积神经网络通用压缩架构的自动剪枝方法及平台。该方法首先随机对输入模型的卷积模块进行通道宽度采样，生成通道剪枝编码向量；然后设计剪枝细胞网络，将通道剪枝编码向量输入该细胞网络，输出用于构建剪枝网络模型的权重矩阵，并生成对应的剪枝结构模型，联合训练剪枝细胞网络和生成的剪枝网络模型，更新该剪枝细胞网络；最后利用训练过的剪枝网络生成的权重搜索性能最优的剪枝网络，而且搜索时不需要任何微调。用户通过训练目标网络的单个剪枝网络，可以在几乎不需要人工参与的情况下搜索不同约束条件下的各种剪枝网络，加快搜索高性能神经网络结构的速度。

公开(公告)号：CN112561041A

公开(公告)日：2021-03-26

申请号：CN202110209931.2

申请日：2021-02-25

Applicant: 之江实验室

Inventor： 王宏升 ,  管淑祎

IPC: G06N3/04 ,  G06N3/063 ,  G06N3/08

Abstract: 本发明公开了一种基于滤波器分布的神经网络模型加速方法及平台，引入滤波器彼此之间的距离来反映滤波器的分布，而且在此基础上设计了一种新颖的基于滤波器平均相似度分数的裁剪准则，即随着网络迭代训练的不断更新，根据当前通道滤波器的分布计算神经网络模型的裁剪准则。包括如下步骤：步骤一、定义问题，将神经网络卷积操作进行建模；步骤二、设计基于滤波器裁剪的神经网络优化目标；步骤三、计算基于Minkowski距离的滤波器相似度分数；步骤四、设计滤波器裁剪准则。

公开(公告)号：CN112561041B

公开(公告)日：2023-10-27

申请号：CN202110209931.2

申请日：2021-02-25

Applicant: 之江实验室

Inventor： 王宏升 ,  管淑祎

IPC: G06N3/0464 ,  G06N3/0495 ,  G06N3/063 ,  G06N3/082

Abstract: 本发明公开了一种基于滤波器分布的神经网络模型加速方法及平台，引入滤波器彼此之间的距离来反映滤波器的分布，而且在此基础上设计了一种新颖的基于滤波器平均相似度分数的裁剪准则，即随着网络迭代训练的不断更新，根据当前通道滤波器的分布计算神经网络模型的裁剪准则。包括如下步骤：步骤一、定义问题，将神经网络卷积操作进行建模；步骤二、设计基于滤波器裁剪的神经网络优化目标；步骤三、计算基于Minkowski距离的滤波器相似度分数；步骤四、设计滤波器裁剪准则。