公开(公告)号：CN114548421A

公开(公告)日：2022-05-27

申请号：CN202210023353.8

申请日：2022-01-10

Applicant: 清华大学

Inventor： 刘洋 ,  丁文伯 ,  赵子号 ,  毛钰竹 ,  黄绍伦

IPC: G06N20/00 ,  H04L41/0823 ,  H04L41/142 ,  H04L41/16

Abstract: 本发明提供一种针对联邦学习通信开销的优化处理方法及装置。该方法包括：将初始全局模型分发到本地客户端，获得本地客户端基于自适应梯度量化模型得到的当前轮次的目标量化等级；目标量化等级用于对本地客户端在当前轮次上传的梯度进行量化；基于惰性梯度聚合模型，确定是否获取本地客户端在当前轮次对应的量化梯度；量化梯度是本地客户端基于目标量化等级对当前轮次上传的梯度进行量化得到的；对量化梯度进行聚合处理，并根据聚合结果更新初始全局模型，得到下一轮次对应的目标全局模型。本发明提供的方法，通过自适应梯度量化模型动态调整量化等级，同时通过惰性梯度聚合模型调整通信频率，有效提高了通信效率，并减少了通信开销。

公开(公告)号：CN115392348A

公开(公告)日：2022-11-25

申请号：CN202210918002.3

申请日：2022-08-01

Applicant: 清华大学深圳国际研究生院

Inventor： 丁文伯 ,  刘洋 ,  毛钰竹 ,  赵子号 ,  张林

IPC: G06K9/62 ,  G06N20/00

Abstract: 本申请实施例提出了一种联邦学习梯度量化方法、高效通信联邦学习方法及相关装置，涉及机器学习领域。根据本申请的第一方面提出了一种联邦学习梯度量化方法，包括：获取来自服务器的待训练模型；使用本地的私有数据对待训练模型进行本地训练，得到本轮训练模型；根据本轮训练模型，获得本轮训练模型的第一参数，第一参数为本地训练模型的模型参数或梯度；根据预设的最大量化等级，计算本轮训练模型与上一轮模型的量化更新量；根据量化更新量，确定第一参数的量化等级，并根据量化等级量化第一参数；将量化后的第一参数发送到中央服务器。能够减少联邦学习训练过程中的非必要通信轮次和每个通信轮次需要传输的数据总量。

公开(公告)号：CN114548421B

公开(公告)日：2024-10-01

申请号：CN202210023353.8

申请日：2022-01-10

Applicant: 清华大学

Inventor： 刘洋 ,  丁文伯 ,  赵子号 ,  毛钰竹 ,  黄绍伦

IPC: G06N20/00 ,  H04L41/0823 ,  H04L41/142 ,  H04L41/16

Abstract: 本发明提供一种针对联邦学习通信开销的优化处理方法及装置。该方法包括：将初始全局模型分发到本地客户端，获得本地客户端基于自适应梯度量化模型得到的当前轮次的目标量化等级；目标量化等级用于对本地客户端在当前轮次上传的梯度进行量化；基于惰性梯度聚合模型，确定是否获取本地客户端在当前轮次对应的量化梯度；量化梯度是本地客户端基于目标量化等级对当前轮次上传的梯度进行量化得到的；对量化梯度进行聚合处理，并根据聚合结果更新初始全局模型，得到下一轮次对应的目标全局模型。本发明提供的方法，通过自适应梯度量化模型动态调整量化等级，同时通过惰性梯度聚合模型调整通信频率，有效提高了通信效率，并减少了通信开销。