公开(公告)号：CN119172437A

公开(公告)日：2024-12-20

申请号：CN202411102287.9

申请日：2024-08-12

Applicant: 电子科技大学

Inventor： 陈爱国 ,  罗光春 ,  徐洋 ,  王天孜 ,  李舒婷 ,  冯敬轩

IPC: H04L67/5651 ,  H04L9/00 ,  G06N3/08

Abstract: 本发明涉及机器学习领域，尤其涉及一种基于模型拆分的分布式联邦学习通信压缩方案，旨在压缩参数更新过程中的模型参数矩阵来减少网络传输梯度通信量。本发明方案包括以下步骤：针对所预设的模型参数x，选择指定的边缘设备参与训练，并初始化数据和损失函数；对于步上一步骤中传输到边缘设备的参数，边缘设备使用其本地数据计算最新的模型参数矩阵；针对上一步骤中计算出来的模型参数矩阵，边缘设备使用模型拆分方法以及转化为三元组将其压缩。本发明用于分布式机器学习中联邦学习领域，能够在压缩网络传输比特量的情况下，实现深度神经网络的参数优化，同时能保持最终模型准确率与较低的通信轮次。

公开(公告)号：CN119129704A

公开(公告)日：2024-12-13

申请号：CN202411100711.6

申请日：2024-08-12

Applicant: 电子科技大学

Inventor： 陈爱国 ,  罗光春 ,  许亿志 ,  李舒婷 ,  王天孜 ,  张一鸣

IPC: G06N3/098 ,  G06N3/084 ,  H04L47/6275

Abstract: 本发明提供一种基于模型分层的多任务联邦学习客户端贡献度度量方法，涉及联邦学习及机器学习模型分层技术。该方法包含一个中央服务器和多个客户端节点的分布式架构，首先配置联邦学习环境及数据准备，之后中央服务器衡量现有联邦任务下各客户端贡献度，其次中央服务器对收到的模型参数进行分层并计算模型各层的梯度；计算相对于发起方客户端的模型分层相似度以得到归一化的贡献向量，根据贡献向量和客户端上的数据量计算得到新模型，并选取下一轮参与训练的客户端，更新任务队列。该发明能够准确识别联邦学习各客户端的贡献，实现更准确的分层贡献度量下的模型聚合，同时保持与通用联邦学习相同的隐私保护效果，优化联邦学习时间和提高模型精度。