公开(公告)号：CN114492786A

公开(公告)日：2022-05-13

申请号：CN202111304190.2

申请日：2021-11-05

Applicant: 辽宁工程技术大学

Inventor： 王伟 ,  袁立娜 ,  肖春娇 ,  张志莹 ,  张志远 ,  王鑫博 ,  谷金涛

IPC: G06N3/08 ,  G06N3/04 ,  G06K9/62

Abstract: 本发明公开了一种基于ADMM的VIT剪枝算法，该算法包括两个阶段，分别为ADMM算法简化权重优化问题和VIT模型权重的裁减，目的使用ADMM算法改写模型训练的权重优化问题，利用ADMM算法将原非凸优化问题分解为两个子问题，并对子问题分别用随机梯度下降法和解析法进行迭代求解。其中ADMM算法结合剪枝算法进行模型压缩，不同的剪枝算法对模型剪枝时有不同的剪枝粒度，对模型精度的影响程度也不尽相同，本发明中的权重剪枝算法剪枝粒度小对模型精度的影响较小，滤波器剪枝可以在不依赖特殊存储设备的情况下直接大幅压缩模型规模，可以根据实际情况需要进行选择，对于VIT模型在移动端和物联网端的实际应用具有重要意义。