公开(公告)号：CN116776951A

公开(公告)日：2023-09-19

申请号：CN202310660179.2

申请日：2023-06-05

Applicant: 电子科技大学长三角研究院(湖州)

Inventor： 黄磊 ,  丁卓越 ,  张成 ,  叶润 ,  闫斌 ,  周小佳

IPC: G06N3/082 ,  G06N3/0464 ,  G06V10/44 ,  G06V10/82 ,  G06V10/774 ,  G06N3/048

Abstract: 本发明属于轻量化网络设计技术领域，公开了一种先剪枝再蒸馏的轻量化网络构建方法、系统、介质及终端，根据归一化特征图与输出特征图确定批标准化层的通道缩放因子；对所述批标准化层的通道缩放因子进行稀疏化处理，基于稀疏化后的通道缩放因子与预设的全局阈值之间的关系进行CNN模型的通道剪枝处理；分别训练剪枝后的CNN模型与剪枝前的CNN模型进行知识蒸馏得到轻量化网络。本发明不仅能够快速实现CNN模型的轻量化设计，还进一步提高了轻量化网络的学习能力和泛化能力。因此，具有非常好的可扩展性和灵活的可移植性，能够满足资源受限的嵌入式设备的部署需要。