一种基于知识蒸馏的模型自适应更新方法

    公开(公告)号:CN112529183A

    公开(公告)日:2021-03-19

    申请号:CN202110178302.8

    申请日:2021-02-08

    Abstract: 本发明公开了一种基于知识蒸馏的模型自适应更新方法,本发明采用模型自适应更新方法,代替模型重训练过程,减少了计算资源和人力资源的投入;采用模型参数相似性约束,提炼旧模型中的知识,避免了模型更新中的灾难性遗忘现象,保持预测模型的稳定性;利用知识蒸馏的思想,构建实时预测的神经网络模型,使预测模型适应数据分布的变化,保证预测模型的可塑性,实现模型自适应更新中稳定性和可塑性的最佳权衡。相较于在线维护模型池,对新数据同时预测的方法,大大减少了模型实时预测需要的计算资源和内存资源。相较于直接利用新数据增量更新模型的方法,有效解决了模型更新中的灾难性遗忘现象。

Patent Agency Ranking