联合知识蒸馏与核相似性的CNN结构化稀疏方法及系统

    公开(公告)号:CN118364871A

    公开(公告)日:2024-07-19

    申请号:CN202410354849.2

    申请日:2024-03-27

    Applicant: 安徽大学

    Abstract: 本发明涉及神经网络技术领域,更具体的,涉及联合知识蒸馏与核相似性的CNN结构化稀疏方法及系统。本发明包括:获取样本数据集,并划分成训练集和测试集;使用样本数据集对原始CNN模型进行预训练,得到预训练后的CNN模型;基于预训练后的CNN模型,使用训练集进行多轮正式训练,直至模型的稀疏度和在测试集上的准确度达到最优平衡,即得到最终的轻量模型。本发明引入了知识蒸馏、并在其基础上对教师模型和学生模型进行了不同程度的稀疏化处理,而且稀疏化的损失函数增加了核相似性构建的函数项,可以在获得足够稀疏度模型的同时更好的保持住原有模型的准确度性能。本发明解决了现有的SSL法存在模型准确度与稀疏度不平衡的问题。

Patent Agency Ranking