一种基于客户端自知识蒸馏的个性化联邦学习实现方法

    公开(公告)号:CN119578512A

    公开(公告)日:2025-03-07

    申请号:CN202411702116.X

    申请日:2024-11-26

    Inventor: 苏贞 何万尧

    Abstract: 本发明公开一种基于客户端自知识蒸馏的个性化联邦学习实现方法。该方法包括:服务端初始化模型并下发给所有客户端;服务端在一个新的通信轮次开始时,向客户端下发全局模型;客户端接收到全局模型后,通过本地聚合模块来更新其本地模型;客户端本地模型参数训练时,通过知识蒸馏将历史个性化模型的知识迁移到当前本地模型中,并动态调整蒸馏损失比重;客户端完成训练后,更新历史个性化模型同时向服务端发送本地模型的参数;服务端根据客户端发送的模型参数加权平均得到新的模型,用于下一个通信轮次的训练;本发明在数据异构的背景下,在不额外增加通信开销的前提下,提高了个性化联邦学习的性能。

Patent Agency Ranking