公开(公告)号：CN119761428A

公开(公告)日：2025-04-04

申请号：CN202411827807.2

申请日：2024-12-12

Applicant: 重庆邮电大学

Inventor： 苏贞 ,  何龙 ,  郭嘉伟 ,  彭僖鳗

IPC: G06N3/0495 ,  G06N3/098 ,  G06N3/084 ,  G06N3/0985 ,  H04L69/04

Abstract: 本发明属于联邦学习通信开销优化领域，具体涉及一种基于动量加速和误差反馈的联邦学习三元量化方法，该方法包括：中央服务器下发模型参数，随机采样部分客户端接收模型，客户端本地进行模型更新，计算更新后的模型与更新前模型之间的差异Δ，将该差异Δ与误差e通过Ternary量化方法计算得到最后的压缩结果，更新本轮新误差，最后将压缩结果上传到中央服务器，服务器聚合参数后通过动量加速算法更新全局模型，以此执行多个轮次，最终得到训练好的目标模型。本发明在联邦学习基线模型上使用Ternary量化方法，大大降低了传输模型的开销，同时结合Adam动量加速和误差反馈机制，保证在降低通信开销的情况下，模型依然能快速收敛。

公开(公告)号：CN119761533A

公开(公告)日：2025-04-04

申请号：CN202411827731.3

申请日：2024-12-12

Applicant: 重庆邮电大学

Inventor： 苏贞 ,  郭嘉伟 ,  彭僖鳗 ,  何龙

IPC: G06N20/00 ,  G06N5/01 ,  G06F18/23 ,  H04L67/1042 ,  H04L67/1074 ,  G06N3/096 ,  G06N3/098

Abstract: 本发明提供一种基于知识迁移的自适应聚类联邦学习方法。中央服务器在每一轮训练中，服务器根据客户模型参数计算相似度矩阵，对客户端进行自适应聚类分组；对于同一组内的客户端模型参数进行加权平均聚合，得到组内模型；通过知识迁移策略，对组模型进行优化，促进不同组之间的知识共享，加快合并聚类过程；自适应聚类完成后，进行组内联邦训练。服务器将组内客户端的模型参数进行联邦平均聚合，更新组模型。将本地数据输入更新后的模型，得到预测结果；构建预测结果与真实标签之间的损失函数，以最小化损失为目标，重复训练步骤。本发明提供的训练方法能够有效解决数据异质性带来的偏差和难以收敛的问题，提升模型的个性化和泛化性能。