公开(公告)号：CN115249061A

公开(公告)日：2022-10-28

申请号：CN202210879913.X

申请日：2022-07-25

Applicant: 北京邮电大学 ,  江西鑫铂瑞科技有限公司

Inventor： 张天魁 ,  徐邦国 ,  陈泽仁 ,  李娟 ,  朱禹涛 ,  李俊涛 ,  李照波 ,  陈星

IPC: G06N3/04 ,  G06N3/08

Abstract: 本申请公开了一种ViT网络模型的剪枝方法及其系统，其中ViT网络模型的剪枝方法具体包括以下步骤：对ViT网络模型的每一层的稀疏化比率进行初始化；响应于完成稀疏化比率的初始化，进行ViT网络模型的初始修剪；响应于完成初始修剪，对ViT网络模型进行蒸馏训练；对训练完成的ViT网络模型进行再次修剪，完成剪枝。本申请对传统ViT网络模型的结构进行了优化，具体引入重要性分数判决模块能够快速得到修剪维度的重要性，相较于之前的基于L1范数这一标准，本发明得到的判决标准更加合理，能够保证修剪的部分为模型不重要的部分，提高了修剪的精准度。

公开(公告)号：CN113743591B

公开(公告)日：2023-12-26

申请号：CN202111074325.0

申请日：2021-09-14

Applicant: 北京邮电大学 ,  江西鑫铂瑞科技有限公司

Inventor： 张天魁 ,  徐邦国 ,  陈泽仁 ,  王宇敬 ,  刘旺发

IPC: G06N3/0464 ,  G06N3/084 ,  G06F18/23 ,  G06N3/082

Abstract: 本申请公开了一种自动化剪枝卷积神经网络的方法及其系统，其中自动化剪枝卷积神经网络的方法具体包括以下步骤：进行超网络的训练；响应于完成超网络的训练，对未修剪的卷积神经网络的每一层过滤器进行聚类；响应于完成对未修剪的卷积神经网络的每一层过滤器进行聚类，将修剪前的卷积神经网络进行学习得到修剪策略，完成卷积神经网络的修剪；响应于完成卷积神经网络的修剪，对卷积神经网络进行优化处理。本申请引入超网络能够快速得到随机网络权重，相较于之前的仅仅对未修剪网络的权重进行删减而得到子网络权重的方法，本申请得到的随机网络权重更加合理，这样做会加快使用强化学习进行剪枝的收敛速度。

公开(公告)号：CN113743591A

公开(公告)日：2021-12-03

申请号：CN202111074325.0

申请日：2021-09-14

Applicant: 北京邮电大学 ,  江西鑫铂瑞科技有限公司

Inventor： 张天魁 ,  徐邦国 ,  陈泽仁 ,  王宇敬 ,  刘旺发

IPC: G06N3/04 ,  G06N3/08 ,  G06K9/62

Abstract: 本申请公开了一种自动化剪枝卷积神经网络的方法及其系统，其中自动化剪枝卷积神经网络的方法具体包括以下步骤：进行超网络的训练；响应于完成超网络的训练，对未修剪的卷积神经网络的每一层过滤器进行聚类；响应于完成对未修剪的卷积神经网络的每一层过滤器进行聚类，将修剪前的卷积神经网络进行学习得到修剪策略，完成卷积神经网络的修剪；响应于完成卷积神经网络的修剪，对卷积神经网络进行优化处理。本申请引入超网络能够快速得到随机网络权重，相较于之前的仅仅对未修剪网络的权重进行删减而得到子网络权重的方法，本申请得到的随机网络权重更加合理，这样做会加快使用强化学习进行剪枝的收敛速度。

公开(公告)号：CN118821589A

公开(公告)日：2024-10-22

申请号：CN202410818965.5

申请日：2024-06-24

Applicant: 北京邮电大学

Inventor： 张天魁 ,  徐邦国 ,  杨鼎成 ,  刘元玮

IPC: G06F30/27 ,  G06N3/092 ,  G06F18/22 ,  G06F18/214 ,  G06F18/24 ,  G06N3/084 ,  G06F17/18

Abstract: 本申请公开了一种深度神经网络轻量化方法及其系统，其中深度神经网络轻量化方法包括以下步骤：S1、初始化最大迭代次数，量化间隔与量化位宽；S2、初始化后，获取参与量化的模型，得到目标函数；S3、根据目标函数对量化间隔进行迭代优化；S4、根据目标函数对量化位宽使用强化学习进行优化；S5、判断目标函数是否收敛或迭代次数达到最大迭代次数；若目标函数收敛或迭代次数达到最大迭代次数，则流程结束；若目标函数收敛或迭代次数未达到最大迭代次数，迭代次数加1，返回执行步骤S2。本申请将量化工作拆分成量化间隔和量化位宽的获取问题，将原本复杂的优化问题简单化。