基于多层次知识蒸馏类增量学习方法

    公开(公告)号:CN117494790A

    公开(公告)日:2024-02-02

    申请号:CN202311411252.9

    申请日:2023-10-29

    Abstract: 本发明公开了基于多层次知识蒸馏类增量学习方法,通过粗粒度知识蒸馏和细粒度蒸馏来保留先前的知识。粗粒度蒸馏的目标是在图像样本之间保留结构层次的信息,从而在图像特征空间中保留图像样本之间的邻居关系。细粒度蒸馏的目标是记忆图像样本的激活值,从而在增量学习阶段保留图像样本级别的信息。通过结合粗粒度和细粒度的知识,本发明提出的基于多层次知识蒸馏类增量学习的图像分类模型在增量学习任务中取得了更好的性能,并有效地减轻了灾难性遗忘现象。

Patent Agency Ranking