公开(公告)号：CN117994635B

公开(公告)日：2024-06-11

申请号：CN202410396190.7

申请日：2024-04-03

Applicant: 山东省计算中心(国家超级计算济南中心) ,  齐鲁工业大学(山东省科学院)

Inventor： 史慧玲 ,  张先恒 ,  张玮 ,  丁伟 ,  谭立状 ,  郝昊 ,  王小龙 ,  刘国正

IPC: G06V10/82 ,  G06V10/764 ,  G06V10/44 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/098

Abstract: 本发明属于机器学习技术处理，为了解决现有联邦学习中客户端模型训练的稳定性差，以及噪声负面影响的问题，提出了一种噪声鲁棒性增强的联邦元学习图像识别方法及系统，通过引入AdaBelief优化器和SCAFFOLD算法中的动量和控制变量机制对全局模型参数和全局控制变量进行本地更新，能够提高客户端本地训练稳定性并加快收敛速度；在客户端本地更新中，通过动态权重参数对损失函数进行改进，并结合平滑标签策略，个性化的学习策略在减少局部噪声的负面影响的同时并提高模型的泛化能力。

公开(公告)号：CN117994635A

公开(公告)日：2024-05-07

申请号：CN202410396190.7

申请日：2024-04-03

Applicant: 山东省计算中心(国家超级计算济南中心) ,  齐鲁工业大学(山东省科学院)

Inventor： 史慧玲 ,  张先恒 ,  张玮 ,  丁伟 ,  谭立状 ,  郝昊 ,  王小龙 ,  刘国正

IPC: G06V10/82 ,  G06V10/764 ,  G06V10/44 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/098

Abstract: 本发明属于机器学习技术处理，为了解决现有联邦学习中客户端模型训练的稳定性差，以及噪声负面影响的问题，提出了一种噪声鲁棒性增强的联邦元学习图像识别方法及系统，通过引入AdaBelief优化器和SCAFFOLD算法中的动量和控制变量机制对全局模型参数和全局控制变量进行本地更新，能够提高客户端本地训练稳定性并加快收敛速度；在客户端本地更新中，通过动态权重参数对损失函数进行改进，并结合平滑标签策略，个性化的学习策略在减少局部噪声的负面影响的同时并提高模型的泛化能力。

公开(公告)号：CN117292221A

公开(公告)日：2023-12-26

申请号：CN202311252854.4

申请日：2023-09-26

Applicant: 山东省计算中心(国家超级计算济南中心) ,  齐鲁工业大学(山东省科学院)

Inventor： 史慧玲 ,  张先恒 ,  张玮 ,  丁伟 ,  谭立状 ,  郝昊 ,  王小龙 ,  刘国正

IPC: G06V10/774 ,  G06N3/0464 ,  G06N3/08 ,  G06V10/80 ,  G06F21/62

Abstract: 本发明公开了一种基于联邦元学习的图像识别方法及系统，属于机器学习技术领域。包括获取待识别图像；将待识别图像输入训练好的联邦元学习模型进行处理，获取图像识别结果；训练联邦元学习模型的过程包括：服务器初始化全局模型参数并分别发送至多个客户端；客户端接收全局模型参数，根据全局模型参数，通过训练集对客户端的本地模型进行训练，更新本地模型参数并上传至服务器；服务器聚合所有本地模型参数，更新全局模型参数，直至全局模型收敛；在客户端之间进行循环知识蒸馏，形成个性化模型。能够提升联邦学习模型性能，在保障隐私和数据安全的前提下提高图像识别准确率，解决客户端模型性能差，影响图像识别准确率的问题。