公开(公告)号：CN119047544A

公开(公告)日：2024-11-29

申请号：CN202411088147.0

申请日：2024-08-09

Applicant: 上海交通大学

Inventor： 陈晨 ,  陈全 ,  过敏意 ,  吕娜 ,  江志锋 ,  张佳熠 ,  沈志

IPC: G06N3/098 ,  G06N3/0464 ,  G06F21/62 ,  G06F9/50 ,  G06F9/54

Abstract: 本公开提供一种基于客户端自主性的分布式训练方法、系统、介质及设备，其中，基于客户端自主性的分布式训练方法，包括：确定客户端本地训练的特征，客户端本地训练的特征包括系统特征和统计特征；根据客户端本地训练的特征，采用提前停止策略决策客户端的本地训练进程；根据客户端本地训练的统计特征，采用基于错误反馈的层级提前传输策略优化客户端的本地训练的通信进程。通过本公开，基于客户端本地训练的特征的指导，实现对客户端内的状态变化感知及客户端的自主决策，节省计算资源，提高模型训练效率，增加计算‑通信重叠时间，提升资源利用率。

公开(公告)号：CN118607618A

公开(公告)日：2024-09-06

申请号：CN202410782352.0

申请日：2024-06-18

Applicant: 上海交通大学

Inventor： 陈晨 ,  甘祚 ,  张佳熠 ,  朱怡飞 ,  赵杰茹 ,  陈全 ,  过敏意

IPC: G06N3/098 ,  G06F21/62 ,  H04L67/10 ,  G06N3/0442 ,  G06N3/0464

Abstract: 本发明提供参数粒度自适应调频的联邦学习方法及系统，包括：服务器选择每轮参与训练的客户端，将每个参数同步频率的更新信息传输到被选择的客户端；客户端的模型训练进程从通讯守护进程接收聚合的参数，根据每个参数的同步频率进行同步训练；通讯守护进程接收完成训练的参数，与服务器通讯进行聚合，再从服务器接收聚合后的参数并在下一轮训练时返回给模型训练进程；在聚合时，服务端计算梯度冲突率，当某个参数的梯度冲突率小于阈值时，将该参数的同步频率增倍，在下一轮训练时传输需要更新频率的参数的位置到所有的客户端中。本发明采用参数粒度的调频方式，对每个参数进行更准确的频率设置，保证训练效率的同时，提高最终模型的收敛准确率。