公开(公告)号：CN114549901A

公开(公告)日：2022-05-27

申请号：CN202210172188.2

申请日：2022-02-24

Applicant: 杭州电子科技大学

Inventor： 匡振中 ,  王一琳 ,  丁佳骏 ,  顾晓玲 ,  俞俊

IPC: G06V10/764 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种多网络联合辅助生成式知识蒸馏方法，首先进行图像分类数据集预处理；然后根据确定的图像分类数据集选择教师网络模型并训练；再根据确定的图像分类数据集选择困难样本生成器G1和学生网络，组成对抗知识蒸馏框架；建立生成对抗知识蒸馏的目标函数；对组建好的对抗知识蒸馏框架进行迭代训练；最后引入简单样本生成器G2，使用困难样本生成器G1和简单样本生成器G2交替调整学生网络，得最终结果。本发明额外引入了一个简单样本生成器，并且简单样本生成器直接复制训练好的困难样本生成器，并没有增加计算量，而且操作简单。在简单样本生成器帮助学生网络回顾简单样本的情况下，最终在目标任务上取得了更好的效果。

公开(公告)号：CN114549901B

公开(公告)日：2024-05-14

申请号：CN202210172188.2

申请日：2022-02-24

Applicant: 杭州电子科技大学

Inventor： 王一琳 ,  匡振中 ,  丁佳骏 ,  顾晓玲 ,  俞俊

IPC: G06V10/764 ,  G06V10/82 ,  G06N3/0475 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/096

Abstract: 本发明公开了一种多网络联合辅助生成式知识蒸馏方法，首先进行图像分类数据集预处理；然后根据确定的图像分类数据集选择教师网络模型并训练；再根据确定的图像分类数据集选择困难样本生成器G1和学生网络，组成对抗知识蒸馏框架；建立生成对抗知识蒸馏的目标函数；对组建好的对抗知识蒸馏框架进行迭代训练；最后引入简单样本生成器G2，使用困难样本生成器G1和简单样本生成器G2交替调整学生网络，得最终结果。本发明额外引入了一个简单样本生成器，并且简单样本生成器直接复制训练好的困难样本生成器，并没有增加计算量，而且操作简单。在简单样本生成器帮助学生网络回顾简单样本的情况下，最终在目标任务上取得了更好的效果。