公开(公告)号：CN115861771A

公开(公告)日：2023-03-28

申请号：CN202310122939.4

申请日：2023-02-16

Applicant: 之江实验室 ,  浙江工商大学

Inventor： 唐乾坤 ,  王军 ,  徐晓刚 ,  虞舒敏 ,  何鹏飞

IPC: G06V10/82 ,  G06V10/764 ,  G06V20/70 ,  G06N3/08

Abstract: 本发明公开了一种用于图像识别的关键知识蒸馏方法、装置，通过构建图像训练集和测试集；构建第一图像识别神经网络及其训练方式，作为第一模型，并采用图像训练集进行训练；构建第二图像识别神经网络及其训练方式，作为第二模型；从第一模型和第二模型中选定进行知识蒸馏的特征层；采用图像训练集，对第二模型进行训练，在训练过程中，用语义重要性度量法，计算第二模型选定特征层的特征图与第一模型选定特征层的特征图之间语义的重要性，将重要性大的知识作为关键知识并分配大的权重值，将权重值加入特征层知识蒸馏损失函数中，联合图像识别任务相关的损失函数训练第二模型，将训练好的第二模型部署至运行设备，对测试集中待识别图像进行识别。

公开(公告)号：CN113255899B

公开(公告)日：2021-10-12

申请号：CN202110673166.X

申请日：2021-06-17

Applicant: 之江实验室

Inventor： 唐乾坤 ,  徐晓刚 ,  王军 ,  徐冠雷 ,  何鹏飞 ,  曹卫强

IPC: G06N3/04 ,  G06N3/08 ,  G06K9/62

Abstract: 本发明公开了一种通道自关联的知识蒸馏方法与系统包括以下步骤：步骤S1：向教师模型和学生模型中输入相同的图片数据，得到学生模型和教师模型的图片特征，选定学生模型和教师模型中需要进行知识蒸馏的特征层；步骤S2：将选定的学生模型和教师模型特征层的通道进行通道自关联；步骤S3：自关联后的教师模型通道通过加权方式传输知识至学生模型通道；步骤S4：根据关联的通道蒸馏知识，并进行训练，在训练时同时优化自关联的二维矩阵和学生模型；S5：部署训练好的学生模型，输入图片数据进行推理测试。