公开(公告)号：CN114219043A

公开(公告)日：2022-03-22

申请号：CN202111568528.5

申请日：2021-12-21

Applicant: 哈尔滨工业大学(深圳)

Inventor： 张春慨 ,  姜茗译 ,  韩培义 ,  刘川意 ,  段少明

IPC: G06K9/62 ,  G06N3/08

Abstract: 本发明公开了一种基于对抗样本的多教师知识蒸馏方法、装置及计算机存储介质，该方法包括：对样本基于教师概率输出与学生概率输出差异最大化的原则，选择待修改原始样本；将待修改原始样本在教师模型上分类概率最大的分类作为对抗攻击的目标分类以及对应的待修改原始样本作为可修改原始样本；基于教师模型对可修改原始样本类别的分类概率得到教师模型的决策边界，利用点到线距离的向量算法，以可修改原始样本恰好越过决策边界和恰好不越过决策边界为目标，对可修改原始样本进行迭代修改，生成位于决策边界两侧的边界样本对；利用生成的边界样本，使用基于边界距离的多教师权重分配训练学生模型。本发明能够提升学生模型的分类精度。

公开(公告)号：CN114219042A

公开(公告)日：2022-03-22

申请号：CN202111568400.9

申请日：2021-12-21

Applicant: 哈尔滨工业大学(深圳)

Inventor： 张春慨 ,  姜茗译 ,  韩培义 ,  刘川意 ,  段少明

IPC: G06K9/62

Abstract: 本发明公开了一种用于知识蒸馏的边界样本数据增强方法、装置及计算机存储介质，该方法包括：在知识蒸馏进行前，利用教师模型对样本的输出，对每一个原始数据集中的样本沿教师模型的决策边界进行逐步迭代的修改，扩充出多个适合用于知识蒸馏的边界样本。在每轮迭代中，使用原始样本或上轮修改出的每个样本作为基础样本，利用教师模型的输出求出该样本附近决策边界的近似切面，在该切面上沿多个方向修改样本；随后对该修改后的样本进行边界化修改使之位于边界附近；最后，挑选与其他基础样本距离最远的数个样本作为该轮修改的结果以及下轮迭代修改的基础样本。本发明能够满足当前图像分类器知识蒸馏中对数据增强的需求。