公开(公告)号：CN117436511A

公开(公告)日：2024-01-23

申请号：CN202311298200.5

申请日：2023-10-08

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 张兰 ,  高欣卉 ,  方文静

IPC: G06N3/098 ,  G06N3/084 ,  G06N3/0464 ,  G06F21/62

Abstract: 本说明书实施例提供了保护隐私的机器学习模型的训练方法和系统及装置，该方法的一具体实施方式包括：客户端基于预先建立的真实标签与混淆标签的映射关系，确定第一样本的第一真实标签对应的第一混淆标签；客户端将该第一混淆标签和目标中间层输出发送给服务端；服务端利用第二模型处理目标中间层输出，得到预测标签，基于该预测标签和该第一混淆标签，计算传播至第一模型的第一梯度，并将其传输给客户端；客户端基于该第一梯度，更新第一模型。防止机器学习模型的客户端模型的模型功能被窃取和客户端的样本被重构。

公开(公告)号：CN117436510A

公开(公告)日：2024-01-23

申请号：CN202311295470.0

申请日：2023-10-08

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 张兰 ,  程一航 ,  方文静

IPC: G06N3/098 ,  G06N3/094 ,  G06N3/0475 ,  G06N3/045

Abstract: 本说明书实施例提供了多方联合训练方法、系统及装置，该方法的一具体实施方式包括：任意一轮训练包括：服务端从多个参与方中选择若干目标参与方；若干目标参与方中的任意参与方：依次对本地模型进行更新、训练，得到第二本地模型；向服务端发送第二本地模型的模型参数信息和利用第二本地模型生成的模拟数据的预测标签；服务端，对全局模型进行第一更新；确定目标数据集；利用目标数据集及其中目标数据的预测标签，对全局模型进行第二更新。从而，在任意轮训练，在更新全局模型之后，服务端利用模拟数据和模拟数据的预测标签，再次更新全局模型，较大幅度地提升全局模型的精度，提升全局模型的收敛速度。

公开(公告)号：CN117436508A

公开(公告)日：2024-01-23

申请号：CN202311297269.6

申请日：2023-10-08

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 张兰 ,  王俊豪 ,  方文静

IPC: G06N3/096 ,  G06N3/084

Abstract: 本说明书实施例提供了的多方联合进行蒸馏训练的方法及装置，该方法的一具体实施方式包括：获取上一轮更新后的学生模型针对验证集的标签预测损失对应的标签梯度；利用该学生模型，针对该训练集得到第一预测输出；根据目标方上的教师模型针对训练集的第二预测输出、该第一预测输出以及历史训练信息，确定目标方在第t轮的第一信息，目标方为任意第一方；根据该梯度和目标方在第t轮的第一信息，确定目标方在第t轮的贡献参数。当在保护隐私的多方联合蒸馏训练中评估教师模型的提供方的贡献时，仅需进行常规的蒸馏训练，无需进行额外的蒸馏训练，评估教师模型贡献度的计算成本得到极大降低。