公开(公告)号：CN115035341B

公开(公告)日：2024-09-06

申请号：CN202210679569.X

申请日：2022-06-15

Applicant: 哈尔滨工业大学

Inventor： 张翀 ,  王宏志 ,  刘宏伟 ,  丁小欧

IPC: G06V10/764 ,  G06V10/74 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/096

Abstract: 一种自动选择学生模型结构的图像识别知识蒸馏方法，涉及知识蒸馏领域。本发明是为了解决现有的图像识别知识蒸馏方法中学生模型结构固定且复杂以及灵活性差，导致了图像识别精度低的问题。本发明包括：将待预测图片数据集输入分类网络中获得图片类别；分类网络获得方式为：利用图片训练集训练深度卷积神经网络，获得训练好的深度卷积神经网络；建立包含多条可选路径的子模型空间：在深度卷积神经网络的每个阶段中，预设深度、卷积通道形式、卷积通道数都不同的“路径”；根据训练好的卷积神经网络与全局目标函数和分阶段目标函数对子模型空间自动选择获得分类网络。本发明用于深度学习模型的压缩。

公开(公告)号：CN114898165A

公开(公告)日：2022-08-12

申请号：CN202210697905.3

申请日：2022-06-20

Applicant: 哈尔滨工业大学

Inventor： 张翀 ,  王宏志 ,  刘宏伟 ,  丁小欧

IPC: G06V10/764 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 一种基于模型通道剪裁的深度学习知识蒸馏方法，具体涉及一种用于图像分类的基于模型通道剪裁的深度学习知识蒸馏方法，本发明为解决现有图像分类在采用知识蒸馏压缩方法时，由于教师模型和学生模型参数量相差太大会使学生模型准确率降低，导致图像分类的准确率较低的问题。将待分类的图像输入教师模型中，利用教师模型每层卷积层中卷积通道的平均秩从大到小进行排序；计算教师模型和学生模型的参数量均值，并与教师模型参数量做变化比例作为通道剪裁总体压缩率；利用通道剪裁技术剪裁冗余卷积通道，得到中间模型；利用中间模型对学生模型进行知识蒸馏，得到新知识蒸馏目标函数并对学生模型进行训练，得到训练好的学生模型。属于知识蒸馏领域。