公开(公告)号：CN116415694A

公开(公告)日：2023-07-11

申请号：CN202111662439.7

申请日：2021-12-31

Applicant: 中国移动通信有限公司研究院 ,  东南大学 ,  中国移动通信集团有限公司

Inventor： 张竞慧 ,  成新宇 ,  魏华 ,  张昊 ,  张婷婷 ,  王城 ,  吕丁阳 ,  金嘉晖 ,  东方

IPC: G06N20/20

Abstract: 本申请公开一种联邦学习处理方法及装置、终端和服务端，涉及计算机处理技术领域，以解决现有方案难以取得训练效率与收敛增益之间平衡的问题。该方法包括：获取N个终端在第t轮联合训练中的训练信息，训练信息包括训练数据集信息、训练时间信息和收敛贡献值；根据训练数据集信息、训练时间信息和收敛贡献值，确定多目标优化参数，多目标优化参数包括训练闲余时间和收敛贡献和；以最小化训练闲余时间为第一优化目标，以最大化收敛贡献和为第二优化目标，确定N个终端中各终端的目标训练迭代次数；分别向N个终端发送各自目标训练迭代次数。本申请实施例可在提高联邦学习训练时间效率与提高终端全局收敛增益之间达到平衡化。

公开(公告)号：CN115577797B

公开(公告)日：2023-09-26

申请号：CN202211273252.2

申请日：2022-10-18

Applicant: 东南大学 ,  合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)

Inventor： 张竞慧 ,  吕丁阳 ,  东方

IPC: G06N20/00 ,  G06N3/047 ,  G06N3/084 ,  G06N5/04 ,  G06F17/16 ,  G06F21/62

Abstract: 本发明提供一种基于噪声感知的联邦学习优化方法及系统，解决联邦学习场景中客户端本地数据集的样本存在噪声而导致的全局模型精度下降的问题。本发明首先针对联邦学习中客户端本地数据集的样本噪声现象，提出使用标签冲突矩阵来表示数据噪声，然后使用标签矫正网络(LCN)拟合噪声数据集中的标签冲突概率分布，从而达到对噪声样本错误标签值的矫正效果；为了更有效的实现标签矫正网络和联邦学习模型的训练，本发明提出采用元学习的训练模式来实现同步优化；最后，本发明还提出了一种基于交叉验证的数据采样算法，从原始噪声数据集选择出一批带有相对正确标签的数据样本，从而提升LCN模型的标签矫正效果，最终提高联邦学习中训练模型的精度。

公开(公告)号：CN115577797A

公开(公告)日：2023-01-06

申请号：CN202211273252.2

申请日：2022-10-18

Applicant: 东南大学 ,  合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)

Inventor： 张竞慧 ,  吕丁阳 ,  东方

IPC: G06N20/00 ,  G06N3/04 ,  G06N3/08 ,  G06N5/04 ,  G06F17/16 ,  G06F21/62

Abstract: 本发明提供一种基于噪声感知的联邦学习优化方法及系统，解决联邦学习场景中客户端本地数据集的样本存在噪声而导致的全局模型精度下降的问题。本发明首先针对联邦学习中客户端本地数据集的样本噪声现象，提出使用标签冲突矩阵来表示数据噪声，然后使用标签矫正网络(LCN)拟合噪声数据集中的标签冲突概率分布，从而达到对噪声样本错误标签值的矫正效果；为了更有效的实现标签矫正网络和联邦学习模型的训练，本发明提出采用元学习的训练模式来实现同步优化；最后，本发明还提出了一种基于交叉验证的数据采样算法，从原始噪声数据集选择出一批带有相对正确标签的数据样本，从而提升LCN模型的标签矫正效果，最终提高联邦学习中训练模型的精度。