-
公开(公告)号：CN113011587B
公开(公告)日：2022-05-10
申请号：CN202110313679.X
申请日：2021-03-24
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书涉及机器学习领域，特别涉及一种隐私保护的模型训练方法和系统。该方法包括，基于训练样本和模型的第一部分，得到初始输出矩阵；对所述初始输出矩阵添加扰动噪声，并进行稀疏化，得到扰动输出矩阵；将扰动输出矩阵传输给所述服务器，以便服务器利用模型的第二部分处理所述扰动输出矩阵得到模型预测结果；基于标签数据以及所述预测结果确定损失函数值；将损失函数值传输给服务器，接收服务器返回的输出梯度矩阵；基于输出梯度矩阵计算出模型的第一部分中各模型参数对应的梯度信息；基于所述梯度信息更新模型的第一部分的模型参数；进行下一轮迭代更新，或者基于此确定最终模型的第一部分。
-
公开(公告)号：CN112990476B
公开(公告)日：2022-04-12
申请号：CN202110177803.4
申请日：2021-02-08
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N20/00
Abstract: 本说明书一个或多个实施例涉及一种基于联邦学习进行模型参数更新的方法，所述方法由参与方中的任一训练成员实现，包括：获取当前轮对应的待训练模型；基于自身持有的训练样本对所述待训练模型进行训练，获得当前轮对应的第一模型；将与所述第一模型上传给服务器，并获取当前轮下发的聚合模型；将来自一轮或多轮迭代更新的一个或多个聚合模型与来自一轮或多轮迭代更新的一个或多个第一模型通过杂交函数处理，获取多个子代模型；基于突变比例以及预设的突变函数对多个子代模型进行处理，获取突变后的多个子代模型；对突变后的多个子代模型进行性能评估，并筛选出性能最优的子代模型作为下一轮迭代的待训练模型或者基于此确定该训练成员的最终模型。
-
公开(公告)号：CN110955915B
公开(公告)日：2022-03-25
申请号：CN201911287600.X
申请日：2019-12-14
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 一种隐私数据的处理方法，包括：训练成员设备从本地的样本数据集中读取样本数据，基于秘密共享算法将样本数据中拆分出的数据片段，与其它的训练成员设备发送的从样本数据中拆分出的数据片段进行秘密共享运算，得到共享样本数据；将共享样本数据作为输入数据，执行深度学习网络的前N层的训练计算，并将计算结果发送至服务器；服务器将各训练成员设备分别发送的计算结果作为输入数据，执行剩余层的训练计算，并将输出结果发送至多个训练成员设备中的目标设备，由目标设备基于输出结果计算训练误差，并将训练误差发送至服务器；获取服务器发送的基于训练误差计算出的前N层的网络参数对应的参数调整量，基于参数调整量调整前N层的网络参数。
-
公开(公告)号：CN110929886B
公开(公告)日：2022-03-22
申请号：CN201911248776.4
申请日：2019-12-06
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书中的实施例提供了模型训练、预测方法及其系统。模型被划分成本地模型和中心节点模型，各训练节点训练相同结构的本地模型，中心节点训练中心节点模型。训练过程中，各训练节点将训练样本的特征值拆分以获得特征值分片，互相交换特征值分片，基于交换结果及本地模型的第一模型参数通过秘密共享算法计算本地模型的第一输出分片，将第一输出分片发送给中心节点。中心节点基于同一样本ID对应的各训练节点的第一输出分片计算第一输入，基于同一样本ID对应的第一输入和样本标签训练中心节点模型，向各训练节点反馈中心节点模型输入层的目标梯度。各训练节点基于目标梯度更新本地模型参数。如此，可以保护数据隐私。
-
公开(公告)号：CN113377797A
公开(公告)日：2021-09-10
申请号：CN202110753670.0
申请日：2021-07-02
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种联合更新模型的方法、装置及系统，用于服务方与k个数据方联合更新模型的过程。其中，各个数据方分别利用本地训练样本更新模型对应的M个待同步参数并选择部分更新值以及当前同步周期使用的本地训练样本数量上传至服务方，服务方根据各个数据方上传的训练样本数量聚合各个待同步参数的更新值，得到各个聚合值构成的同步参数集Wt，并反馈给各个数据方，各个数据方利用同步参数集Wt，更新本地的待定参数，从而更新本地模型。这种实施方式可以提高模型精度，加快收敛速度。
-
Patent Agency Ranking
公开(公告)号：CN112288100B
公开(公告)日：2021-08-03
申请号：CN202011589914.8
申请日：2020-12-29
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书涉及一种基于联邦学习进行模型参数更新的方法、系统及装置，能够用于数据隐私保护。所述方法由参与方中的任一训练成员实现，所述方法包括对模型参数进行多轮迭代更新，其中一轮迭代更新包括：获取与其他参与方具有相同结构的待训练模型；基于自身持有的训练样本及样本标签进行对所述待训练模型进行训练，获得梯度矩阵；至少基于所述梯度矩阵以及第一超参数计算第一运算值矩阵；基于所述梯度矩阵计算第二运算值矩阵；将所述第一运算值矩阵和第二运算值矩阵上传给所述服务器，以便服务器更新服务器端的待训练模型的模型参数；从所述服务器获取更新后的模型参数以将其作为待训练模型进行下一轮迭代更新，或者基于此确定最终模型。
-
公开(公告)号：CN112966737A
公开(公告)日：2021-06-15
申请号：CN202110238513.6
申请日：2021-03-04
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例公开了图像处理、图像识别模型的训练、图像识别的方法和系统。其中所述方法包括：获取待处理图像数据；对所述待处理图像数据进行分解，获取所述待处理图像数据对应的多个特征图；对所述多个特征图进行处理，获得用于表征所述待处理图像数据的脱敏图像数据；其中，所述处理包括：对所述多个特征图进行筛选，保留其中部分特征图；对筛选后的特征图进行损失处理；对经过损失处理后的特征图进行融合处理，以获取数量少于损失处理后的特征图的一个或多个融合特征图。
-
公开(公告)号：CN111931876B
公开(公告)日：2021-02-05
申请号：CN202011082434.2
申请日：2020-10-12
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书一个或多个实施例涉及一种用于分布式模型训练的目标数据方筛选方法和系统，所述方法包括：从任务方获取训练任务信息；所述训练任务信息包括待预训练模型信息以及待训练目标模型信息；接收来自至少一个数据方的接受任务指示，得到备选数据方集合；将所述待预训练模型信息下发给所述备选数据方集合中的各数据方；获取所述各数据方的预训练模型；其中，所述各数据方的预训练模型是基于自身持有的训练样本以及所述待预训练模型信息进行模型训练得到的；获取各预训练模型的性能指标参数；至少基于各预训练模型的性能指标参数，从备选数据方集合中确定一个或多个目标数据方；将所述待训练目标模型信息下发给各目标数据方。
-
公开(公告)号：CN112257697A
公开(公告)日：2021-01-22
申请号：CN202011532933.7
申请日：2020-12-23
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例公开了一种图像处理、图像识别模型的训练、图像识别的方法和系统。该方法包括：获取待处理图像数据；对所述待处理图像数据进行分解，获取所述待处理图像数据对应的多个特征图；对所述多个特征图进行处理，获得用于表征所述待处理图像数据的脱敏图像数据；其中，所述处理包括：对所述多个特征图进行筛选，保留其中部分特征图；基于所述待处理图像数据和/或其对应的多个特征图确定归一化参数，基于所述归一化参数对多个特征图进行归一化处理；以及，对多个特征图进行融合处理，以获取数量少于特征图的一个或多个融合特征图。
-
公开(公告)号：CN112132270A
公开(公告)日：2020-12-25
申请号：CN202011325643.5
申请日：2020-11-24
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供基于隐私保护的神经网络模型训练方法、装置及系统。每个第一成员设备具有本地数据并且部署至少一个客户端模型，第二成员设备部署至少一个服务端模型，至少一个客户端模型和至少一个服务端模型按照模型间隔方式组成神经网络模型。在每次循环时，各个第一成员设备和第二成员设备使用第一成员设备的本地数据执行模型预测计算。对于每个客户端模型，各个第一成员设备使用本地数据或者在前服务端模型的模型计算结果进行多方安全计算。对于每个服务端模型，第二成员设备使用在前客户端模型的模型计算结果执行本地计算。基于模型预测值确定预测差值，并且在各个成员设备处通过反向传播方式来使用加噪声的梯度下降法进行模型更新。
-
-
-
-
-
-
-
-
-
Search Results
116
records
(took 0.041 seconds)
