-
公开(公告)号:CN114936650B
公开(公告)日:2025-02-18
申请号:CN202210742526.1
申请日:2020-12-06
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N3/098 , G06N3/0464 , G06N3/084 , G06F18/2431 , G06F18/27 , G06F21/60 , G06F21/62
Abstract: 本说明书实施例提供一种基于隐私保护的联合训练业务模型的方法和装置,根据该方法,服务器针对实现业务模型的神经网络中的各个网络层,确定扰动矩阵,并用其对网络层的参数进行扰动加密,得到扰动加密模型,分发给各个终端。终端利用扰动加密的模型处理其本地训练样本,得到扰动梯度。并且,终端还在扰动梯度上叠加噪声。通过精心设计噪声的分布,使得经扰动矩阵进行恢复后得到的噪声符合高斯分布,从而满足差分隐私的要求。于是,服务器可以对各个终端发送的含躁梯度进行扰动恢复并聚合,从而更新神经网络模型中的参数。
-
公开(公告)号:CN114936650A
公开(公告)日:2022-08-23
申请号:CN202210742526.1
申请日:2020-12-06
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种基于隐私保护的联合训练业务模型的方法和装置,根据该方法,服务器针对实现业务模型的神经网络中的各个网络层,确定扰动矩阵,并用其对网络层的参数进行扰动加密,得到扰动加密模型,分发给各个终端。终端利用扰动加密的模型处理其本地训练样本,得到扰动梯度。并且,终端还在扰动梯度上叠加噪声。通过精心设计噪声的分布,使得经扰动矩阵进行恢复后得到的噪声符合高斯分布,从而满足差分隐私的要求。于是,服务器可以对各个终端发送的含躁梯度进行扰动恢复并聚合,从而更新神经网络模型中的参数。
-
公开(公告)号:CN112541593A
公开(公告)日:2021-03-23
申请号:CN202011409592.4
申请日:2020-12-06
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种基于隐私保护的联合训练业务模型的方法和装置,根据该方法,服务器针对实现业务模型的神经网络中的各个网络层,确定扰动矩阵,并用其对网络层的参数进行扰动加密,得到扰动加密模型,分发给各个终端。终端利用扰动加密的模型处理其本地训练样本,得到扰动梯度。并且,终端还在扰动梯度上叠加噪声。通过精心设计噪声的分布,使得经扰动矩阵进行恢复后得到的噪声符合高斯分布,从而满足差分隐私的要求。于是,服务器可以对各个终端发送的含躁梯度进行扰动恢复并聚合,从而更新神经网络模型中的参数。
-
公开(公告)号:CN112541593B
公开(公告)日:2022-05-17
申请号:CN202011409592.4
申请日:2020-12-06
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种基于隐私保护的联合训练业务模型的方法和装置,根据该方法,服务器针对实现业务模型的神经网络中的各个网络层,确定扰动矩阵,并用其对网络层的参数进行扰动加密,得到扰动加密模型,分发给各个终端。终端利用扰动加密的模型处理其本地训练样本,得到扰动梯度。并且,终端还在扰动梯度上叠加噪声。通过精心设计噪声的分布,使得经扰动矩阵进行恢复后得到的噪声符合高斯分布,从而满足差分隐私的要求。于是,服务器可以对各个终端发送的含躁梯度进行扰动恢复并聚合,从而更新神经网络模型中的参数。
-
-
-