公开(公告)号：CN117829320B

公开(公告)日：2024-06-25

申请号：CN202410244640.0

申请日：2024-03-05

Applicant: 中国海洋大学

Inventor： 王晓东 ,  杨昊宇 ,  魏志强 ,  李一奥

IPC: G06N20/00 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明属于图像处理技术领域，公开了一种基于图神经网络和双向深度知识蒸馏的联邦学习方法，包括以下步骤：服务器端初始化一个全局模型，并将初始权重分发给所有客户端；客户端接收服务器下发的全局模型，并使用基于注意力机制的视觉图神经网络进行本地训练；客户端获取其本地模型的中间层表示和最终输出，并接收服务器在前一轮模型更新中的中间层表示和最终输出，计算出客户端的知识蒸馏损失，进而计算客户端的总损失；更新客户端本地模型梯度并发送到服务器；服务器端接收各客户端模型上传的本地模型更新和蒸馏损失，计算平均梯度和平均蒸馏损失；最后服务器端计算总损失并更新全局模型。通过本发明实现客户端和服务器之间知识共享。

公开(公告)号：CN117829320A

公开(公告)日：2024-04-05

申请号：CN202410244640.0

申请日：2024-03-05

Applicant: 中国海洋大学

Inventor： 王晓东 ,  杨昊宇 ,  魏志强 ,  李一奥

IPC: G06N20/00 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明属于图像处理技术领域，公开了一种基于图神经网络和双向深度知识蒸馏的联邦学习方法，包括以下步骤：服务器端初始化一个全局模型，并将初始权重分发给所有客户端；客户端接收服务器下发的全局模型，并使用基于注意力机制的视觉图神经网络进行本地训练；客户端获取其本地模型的中间层表示和最终输出，并接收服务器在前一轮模型更新中的中间层表示和最终输出，计算出客户端的知识蒸馏损失，进而计算客户端的总损失；更新客户端本地模型梯度并发送到服务器；服务器端接收各客户端模型上传的本地模型更新和蒸馏损失，计算平均梯度和平均蒸馏损失；最后服务器端计算总损失并更新全局模型。通过本发明实现客户端和服务器之间知识共享。