公开(公告)号：CN119514594A

公开(公告)日：2025-02-25

申请号：CN202411202676.9

申请日：2024-08-29

Applicant: 西北农林科技大学

Inventor： 闫玉双 ,  王一凡 ,  胡家瑞 ,  刘金彪

IPC: G06N3/045 ,  G06N3/0464 ,  G06N3/096 ,  G06N3/0495 ,  G06N3/082 ,  G06V10/764 ,  G06V10/82

Abstract: 本发明属于图像分类神经网络技术领域，公开了一种基于知识蒸馏的轻量级图像分类神经网络架构系统，本发明提供的基于知识蒸馏的轻量级图像分类神经网络架构系统包括：数据集预处理模块、教师模型预处理模块、构建子网模型模块、个性化训练模块、计算真实损失模块、计算蒸馏损失模块、计算总损失模块、构建学生模型模块。本发明提供一种基于知识蒸馏的轻量化神经网络架构系统，利用知识蒸馏对于教师模型权重提取的优越性，设计了一种全新的训练模式：本发明将教师学生模型的知识蒸馏和深度压缩(Deep Compression)方法进行结合，提出的构建轻量化网络的系统可以用于训练各种复杂的图像分类神经网络，以提高网络性能。