公开(公告)号：CN119272845B

公开(公告)日：2025-04-25

申请号：CN202411783712.5

申请日：2024-12-06

Applicant: 南京邮电大学

Inventor： 孙雁飞 ,  胡淞皓 ,  胡筱旋 ,  亓晋 ,  董振江 ,  华佳琳

IPC: G06N3/098 ,  G06N3/096 ,  G06N3/09 ,  G06N3/045 ,  H04L67/10 ,  H04L67/12

Abstract: 本发明属于信息技术领域，公开一种用于工业异构设备的对比双焦点知识蒸馏联邦学习方法，通过1个服务器和N个客户端构建对比双焦点知识蒸馏联邦学习模型，各个客户端分别在本地数据集上进行预训练，得到初始化本地模型；服务器接收来自多个客户端的知识，通过双焦点蒸馏策略推动服务器模型演化为更高精度、更具泛化能力的服务器端全局模型，客户端计算全局模型与本地模型输出的特征对比损失和相对熵损失，同时，计算本地模型与全局模型和上一轮本地模型输出的特征对比损失，以及本地模型输出与硬性标签之间的交叉熵，通过知识蒸馏损失项和本地监督损失项的联合训练，本地模型在保持原有数据分布优势的同时，能够获得更高的全局准确率。

公开(公告)号：CN119272845A

公开(公告)日：2025-01-07

申请号：CN202411783712.5

申请日：2024-12-06

Applicant: 南京邮电大学

Inventor： 孙雁飞 ,  胡淞皓 ,  胡筱旋 ,  亓晋 ,  董振江 ,  华佳琳

IPC: G06N3/098 ,  G06N3/096 ,  G06N3/09 ,  G06N3/045 ,  H04L67/10 ,  H04L67/12

Abstract: 本发明属于信息技术领域，公开一种用于工业异构设备的对比双焦点知识蒸馏联邦学习方法，通过1个服务器和N个客户端构建对比双焦点知识蒸馏联邦学习模型，各个客户端分别在本地数据集上进行预训练，得到初始化本地模型；服务器接收来自多个客户端的知识，通过双焦点蒸馏策略推动服务器模型演化为更高精度、更具泛化能力的服务器端全局模型，客户端计算全局模型与本地模型输出的特征对比损失和相对熵损失，同时，计算本地模型与全局模型和上一轮本地模型输出的特征对比损失，以及本地模型输出与硬性标签之间的交叉熵，通过知识蒸馏损失项和本地监督损失项的联合训练，本地模型在保持原有数据分布优势的同时，能够获得更高的全局准确率。