公开(公告)号：CN118135240A

公开(公告)日：2024-06-04

申请号：CN202410075206.4

申请日：2024-01-18

Applicant: 桂林电子科技大学

Inventor： 翟仲毅 ,  梁杰 ,  赵岭忠 ,  蓝如师 ,  钱俊彦 ,  程渤 ,  罗笑南

IPC: G06V10/44 ,  G06V10/80 ,  G06N5/02 ,  G06V10/82 ,  G06N3/0464 ,  G06F21/62

Abstract: 本发明公开了一种面向边缘环境的深度学习模型压缩方法，该方法是先收集边缘环境的图像数据，归集为数据集；对数据集进行图像增强处理，选择一个强大的教师模型对数据集进行预训练；再选择一个较小模型作为学生模型，利用经过预训练的教师模型进行知识蒸馏来训练学生模型，在学生模型训练过程中，添加跨层蒸馏损失函数，采用最邻近上采样方法，将教师模型的深层特征以及学生模型的深层特征进行向上的特征融合，以此增强浅层特征的注意力，使教师模型在浅层特征也能转移更多的知识，提升学生模型性能的效果；将经过知识蒸馏的学生模型部署到边缘环境进行图像识别工作。该方法仅对原始特征图进行处理，无需额外的辅助网络或对知识进行浓缩处理。