-
公开(公告)号：CN114819182A
公开(公告)日：2022-07-29
申请号：CN202210397805.9
申请日：2022-04-15
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供了用于经由多个数据拥有方训练模型的方法、装置及系统。在该方法中，各个第二数据拥有方根据第一数据确定出与各个第一数据相交的第二特征数据，执行下述主循环过程，直至满足第一循环结束条件：针对每个训练单元，利用第一训练样本和第二训练样本对参与该训练单元训练的第一模型、第二模型和第三模型进行协同训练，主服务器对各个训练单元的经过训练的第一模型和/或第三模型进行联邦聚合，以得到对应的第一全局模型和/或第三全局模型，在各个第一数据拥有方处和/或各个从服务器处，根据第一全局模型对第一模型进行更新和/或根据第三全局模型对第三模型进行更新。
-
公开(公告)号：CN114676838A
公开(公告)日：2022-06-28
申请号：CN202210380007.5
申请日：2022-04-12
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种联合更新模型的方法及装置，在联邦学习过程中，训练成员上传部分待同步参数，服务方向训练成员下发部分待同步参数的聚合值，从而减少联合训练过程中的数据通信量。其中，针对单个训练成员，基于训练成员上传的待同步参数和服务方确定的聚合值共同选择下发的聚合值，从而充分考虑训练成员的本地数据特点，以及全局数据特点，使得通过联邦学习训练的模型更加符合实际业务需求，提高联邦学习的有效性。
-
公开(公告)号：CN112926747B
公开(公告)日：2022-05-17
申请号：CN202110320906.1
申请日：2021-03-25
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种优化业务模型的方法及装置，适用于多个数据方基于隐私保护联合训练业务模型情况下，辅助确定业务模型的参数集的服务方。其中，业务模型的参数集用于描述其模型结构及至少一个超参数。该方法的一个实施方式包括：向各个数据方下发业务模型的当前参数集，以供各个数据方共同训练当前参数集对应的业务模型，并分别确定各自对应的模型局部性能，然后对各个数据方分别确定的各模型局部性能进行融合，得到针对当前参数集的当前全局性能，再利用当前全局性能和当前参数集、历史参数集与历史全局性能之间的关联关系，从而以最大化全局性能为目标，更新当前参数集。该实施方式有利于挖掘更有效的业务模型。
-
公开(公告)号：CN113033823B
公开(公告)日：2022-05-10
申请号：CN202110424366.1
申请日：2021-04-20
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书涉及一种模型训练方法、系统和装置，能够用于数据隐私保护。该方法包括，各训练成员将自身持有的训练样本的特征数据输入至模型的第一部分，得到初始输出矩阵；接收标签预测值，基于训练样本的标签值以及所述标签预测值确定损失函数值；将所述损失函数值传输给所述服务器，以便服务器基于所述损失函数值在模型的第二部分中反向传播梯度，直到获取输出梯度矩阵；基于所述损失函数相对模型的第一部分中各层的输出数据的梯度，继续反向传播梯度，以对模型的第一部分的模型参数进行更新；基于更新后的模型的第一部分进行下一轮迭代更新，或者基于此确定最终模型的第一部分。
-
公开(公告)号：CN113379042A
公开(公告)日：2021-09-10
申请号：CN202110835599.0
申请日：2021-07-23
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供了一种保护数据隐私的业务预测模型训练方法及装置。在训练过程中，成员设备利用自身持有的对象特征数据，通过业务预测模型进行预测，利用预测结果确定用于更新模型参数的更新参量，其中包括针对业务预测模型的多个计算层的多个子参量；利用多个子参量，将多个计算层划分成第一类计算层和第二类计算层，第一类计算层的子参量值在指定范围以内；对第一类计算层的子参量进行隐私处理，并输出处理后子参量。多个成员设备的处理后子参量可以被聚合成聚合子参量。成员设备可以获取第一类计算层的聚合子参量，并利用聚合子参量和第二类计算层的子参量，对模型参数进行更新。
-
Patent Agency Ranking
公开(公告)号：CN113360514A
公开(公告)日：2021-09-07
申请号：CN202110753197.6
申请日：2021-07-02
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种联合更新模型的方法、装置及系统，在当前同步周期，各个数据方在利用本地训练样本在本地更新完模型对应的待同步参数后，可以利用本地当前的带宽，以及服务方针对单个同步周期的最大等待时长，确定在当前同步周期需向服务器上传的待同步参数数量。之后，可以根据需向服务器上传的待同步参数数量从待同步参数集中选择相应的待同步参数上传至服务方。服务方在最大等待时长到达时，将各个数据方分别发送的若干待同步参数进行聚合，形成同步参数集，反馈给各个数据方用于当前同步周期的数据同步。这种实施方式可以避免通信阻塞，提高训练效率。
-
公开(公告)号：CN112990476A
公开(公告)日：2021-06-18
申请号：CN202110177803.4
申请日：2021-02-08
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N20/00
Abstract: 本说明书一个或多个实施例涉及一种基于联邦学习进行模型参数更新的方法，所述方法由参与方中的任一训练成员实现，包括：获取当前轮对应的待训练模型；基于自身持有的训练样本对所述待训练模型进行训练，获得当前轮对应的第一模型；将与所述第一模型上传给服务器，并获取当前轮下发的聚合模型；将来自一轮或多轮迭代更新的一个或多个聚合模型与来自一轮或多轮迭代更新的一个或多个第一模型通过杂交函数处理，获取多个子代模型；基于突变比例以及预设的突变函数对多个子代模型进行处理，获取突变后的多个子代模型；对突变后的多个子代模型进行性能评估，并筛选出性能最优的子代模型作为下一轮迭代的待训练模型或者基于此确定该训练成员的最终模型。
-
公开(公告)号：CN112926747A
公开(公告)日：2021-06-08
申请号：CN202110320906.1
申请日：2021-03-25
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种优化业务模型的方法及装置，适用于多个数据方基于隐私保护联合训练业务模型情况下，辅助确定业务模型的参数集的服务方。其中，业务模型的参数集用于描述其模型结构及至少一个超参数。该方法的一个实施方式包括：向各个数据方下发业务模型的当前参数集，以供各个数据方共同训练当前参数集对应的业务模型，并分别确定各自对应的模型局部性能，然后对各个数据方分别确定的各模型局部性能进行融合，得到针对当前参数集的当前全局性能，再利用当前全局性能和当前参数集、历史参数集与历史全局性能之间的关联关系，从而以最大化全局性能为目标，更新当前参数集。该实施方式有利于挖掘更有效的业务模型。
-
公开(公告)号：CN112580826B
公开(公告)日：2021-06-08
申请号：CN202110160640.9
申请日：2021-02-05
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供用于经由第一成员设备和至少两个第二成员设备训练业务模型的方法、装置和系统。各个第二成员设备具有本地业务模型和本地样本数据，并且所具有的本地样本数据是非独立同分布数据。各个第二成员设备将本地样本数据分布信息提供给第一成员设备。第一成员设备根据各个第二成员设备的本地样本数据分布信息确定整体样本数据概率分布，并发送给各个第二成员设备。各个第二成员设备根据整体样本数据概率分布和超参数，从本地样本数据中确定各类样本数据的扩充样本数据，所述扩充样本数据用于扩充业务模型的训练样本数据。
-
公开(公告)号：CN111738438B
公开(公告)日：2021-04-30
申请号：CN202010691847.4
申请日：2020-07-17
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N3/08
Abstract: 本说明书实施例提供图神经网络模型训练方法及装置。图神经网络模型包括位于各个第一成员设备的节点特征向量表示子模型和归一化子模型以及位于第二成员设备的判别模型，各个第一成员设备的私有数据是非独立同分布数据。各个第一成员设备的节点特征向量表示子模型的模型结构根据各自数据的数据分布特征确定。各个第一成员设备使用节点特征向量表示子模型和归一化子模型得到归一化特征向量表示，利用从第二成员设备获取的判别模型得到预测标签值并确定出损失函数。各个第一成员设备基于损失函数，确定判别模型的模型更新量并更新节点特征向量表示子模型和归一化子模型。第二成员设备使用源于各个第一成员设备的判别模型的模型更新量更新判别模型。
-
-
-
-
-
-
-
-
-
Search Results
116
records
(took 0.035 seconds)
