基于联合蒸馏回放策略的类增量学习方法

    公开(公告)号:CN118072099A

    公开(公告)日:2024-05-24

    申请号:CN202410269441.5

    申请日:2024-03-11

    Abstract: 本发明公开了一种基于联合蒸馏回放策略的类增量学习方法,所述方法包括如下步骤:1)训练初始任务的蒸馏模型;2)设置一个缓冲区存储初始任务的蒸馏数据;3)建立基于旧任务的蒸馏数据与新任务的原始数据的联合蒸馏模型;4)在下一个任务训练过程中回放联合蒸馏数据。本技术方案利用旧任务的蒸馏数据与新任务的原始数据联合蒸馏,充分考虑旧任务的类别特征信息,以此避免特征模糊。在此基础上,保持新旧任务蒸馏过程中使用相同的学习率,并寻找一个最优的缓冲区规模以存储蒸馏数据用于回放,从而有效地缓解类增量学习场景中的灾难性遗忘,提升图像的分类效果。

Patent Agency Ranking