一种基于知识蒸馏的深度神经网络模型压缩方法及装置

    公开(公告)号:CN116796810A

    公开(公告)日:2023-09-22

    申请号:CN202310769582.9

    申请日:2023-06-28

    Applicant: 河海大学

    Abstract: 本发明公开了一种基于知识蒸馏的深度神经网络模型压缩方法及系统,所述方法包括:对样本图像数据进行预处理;基于预处理后的样本图像数据预训练教师网络模型;利用预训练后的教师网络模型提取待分类图像的空间注意力特征,基于各通道基本特征利用自注意力机制获得空间相关性特征,二者结合得到空间注意力特征;使用同样的方法提取学生网络空间注意力特征;利用空间注意力特征,依据细粒度层权重指导学生网络模型的训练,迭代蒸馏学生网络模型直至其收敛,其中以λj表示所选择的教师和学生网络n个中间层中的第j层的权重,细粒度层权重被设置为λ1<λ2<…<λn;保存学生神经网络模型用于进行图像分类预测。本发明具有更快更准确的优点。

Patent Agency Ranking