-
公开(公告)号：CN113689006B
公开(公告)日：2024-06-11
申请号：CN202111074304.9
申请日：2020-04-23
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N20/20
Abstract: 本说明书实施例公开了一种模型联合训练的方法及系统。所述方法包括：多个联合训练的参与终端分别基于所述终端自身持有的私有数据联合进行模型训练，多个联合训练的参与终端分别使用基于梯度的优化算法生成各自的梯度；所述多个参与终端分别将所述各自的梯度发送给服务器；所述服务器从多个所述梯度中选取可信任梯度，并且根据选取的所述可信任梯度更新所述联合训练模型的参数；所述样本数据为文本数据、语音数据或者图形数据。
-
公开(公告)号：CN110909216B
公开(公告)日：2023-06-20
申请号：CN201911228336.2
申请日：2019-12-04
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/903 , G06F21/62
Abstract: 本说明书实施例提供了检测用户属性之间的关联性的方法和装置，用于在S个数据方基于安全计算的业务处理中，针对S个数据方联合提供的m个样本用户，检测p个用户属性之间的关联性。其中，S个数据方本地分别拥有部分用户属性数据作为隐私数据。为了维护各个数据方的隐私数据的安全性，可以由各个数据方拆分计算p个用户属性对应的协方差矩阵，并根据协方差矩阵，分别确定p个用户属性中两两用户属性分别对应的各个相关系数，接着基于各个相关系数，以及上述协方差矩阵，检测p个用户属性相互之间的关联性。与常规技术中直接根据属性值计算各个用户属性的VIF，以确定用户属性的关联关系相比，可以大大减少计算的复杂度，提高安全计算的有效性。
-
公开(公告)号：CN112068866B
公开(公告)日：2022-07-19
申请号：CN202011046903.5
申请日：2020-09-29
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种更新业务模型的方法和装置，在多方安全计算的联邦学习过程中，各个提供样本数据参与计算的业务方分别通过本地样本数据调整本地模型参数，并在调整本地模型参数过程中，基于最优传输理论，在损失确定时增加本地模型参数和其他业务方模型参数在最小传输代价下的距离约束，从而保证本地业务模型的稳定性。
-
公开(公告)号：CN112819177B
公开(公告)日：2022-07-12
申请号：CN202110106050.8
申请日：2021-01-26
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N20/00
Abstract: 本说明书实施例公开了一种个性化的隐私保护学习方法、装置以及设备。方案应用于第一参与端，包括：确定全局模型和第一参与端的局部模型；通过与多个第二参与端进行联邦学习，协同训练全局模型，得到第一训练结果；根据第一参与端的训练数据，训练第一参与端的局部模型，得到第二训练结果；根据第一训练结果和第二训练结果，训练第一参与端的局部模型。
-
公开(公告)号：CN113052329B
公开(公告)日：2022-05-27
申请号：CN202110390904.X
申请日：2021-04-12
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种基于隐私保护的联合更新业务模型的方法及装置，其中，在一次迭代过程中，服务方向各个数据方提供全局模型参数，以及各个数据方各自与全局模型参数划分的N个参数组的对应关系，由各个数据方各自利用全局模型参数更新本地业务模型，并基于本地业务数据对更新后的本地业务模型进一步更新，以将新的业务模型中各自所对应参数组的模型参数上传至服务方，进而由服务方依次对接收到的各个参数组进行融合，更新全局模型参数。该过程可以减少数据方与服务方的通信压力，避免造成通信阻塞，有利于提高联邦学习的整体训练效率。
-
Patent Agency Ranking
公开(公告)号：CN113379039B
公开(公告)日：2022-05-17
申请号：CN202110752427.7
申请日：2021-07-02
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书涉及一种模型的训练方法、系统及装置，可用于机器学习过程中的隐私数据保护，所述方法由参与方中的任一训练成员实现，包括：基于自身持有的训练样本进行模型训练，获得模型数据列表；从模型数据列表中的一个或多个卷积核对应的子矩阵中选取若干子矩阵，并确定所选子矩阵在模型数据列表中的第一位置信息；从模型数据列表中除卷积核对应的子矩阵以外的元素中选取若干非卷积核元素，并确定反映选取的非卷积核元素在模型数据列表中的第二位置信息；确定包括第一位置信息以及第二位置信息的传输数据列表，并将其上传至服务器；获取服务器下发的模型数据更新列表，并基于模型数据更新列表进行本地模型更新。
-
公开(公告)号：CN111062492B
公开(公告)日：2022-05-17
申请号：CN201911329551.1
申请日：2019-12-20
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N20/00
Abstract: 本说明书一个或多个实施例涉及一种基于可选隐私数据进行模型训练的方法及系统，该方法包括：接收至少来自第一终端和第二终端的第一类数据；并基于接收到的第一类数据及其对应的模型参数计算第一类累计数据；通过多方安全计算的方式获取累计损失值；累计损失值至少由第一终端和第二终端基于所述第一类累计数据、自身的第二类数据以及样本标签确定；将累计损失值参与第一类累计梯度和第二类累计梯度的计算，第一类累计梯度和第二类累计梯度用于更新至少基于第一终端和第二终端的模型的联合训练模型的参数；第一终端和第二终端分别持有第一训练数据和第二训练数据，第一训练数据和所述第二训练数据包括对应不同隐私等级的第一类数据和第二类数据。
-
公开(公告)号：CN110955907B
公开(公告)日：2022-03-25
申请号：CN201911285233.X
申请日：2019-12-13
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 公开了一种基于联邦学习的模型训练方法。为了保护服务端的隐私(模型参数)不泄露，服务端采用同态加密算法对模型参数集合进行加密后下发给节点，节点基于同态加密原理，使用加密后的模型参数与本地训练样本进行加密状态下的模型计算，得到加密梯度。随后，节点基于同态加密原理，计算加密梯度与加密随机数的差，这个差实质上是加密的某个无意义的值。接着，节点将加密后的值上传给服务端。此外，服务端可以利用SA协议，在不获知每个节点上的随机数的前提下，获知各节点上的随机数之和。如此，服务端就可以根据每个节点上传的加密后的值与各随机数之和来还原出每个节点产生的梯度之和，从而可以更新模型参数。
-
公开(公告)号：CN114004363A
公开(公告)日：2022-02-01
申请号：CN202111256451.8
申请日：2021-10-27
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N20/00
Abstract: 本说明书实施例提供一种联合更新模型的方法、装置及系统。通过本说明书实施例提供的方法、装置和系统，基于联合更新模型时的数据复合切分情形，设想将训练成员的数据进行分割，从而构成多个水平切分的子系统，在单个子系统内部，可以包括数据垂直切分的训练成员。这样，数据呈垂直切分的单个子系统通过分布在多个训练成员的训练样本在子系统内部迭代，从而更新待同步参数。而各个子系统之间，可以按照同步条件触发的同步周期进行数据同步。这种方式充分考虑各个训练成员的数据构成，为复杂数据结构下的联合更新模型提供解决方案，有利于扩展联邦学习的应用范围。
-
公开(公告)号：CN113887740A
公开(公告)日：2022-01-04
申请号：CN202111228436.2
申请日：2021-10-21
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种联合更新模型的方法、装置及系统，基于训练成员的数据构成水平切分，且模型在训练成员和服务方切分成两部分的情形，由服务方将服务方切分得到的子模型配置为多个可同步聚合的子模型。这样，在单个训练周期，服务方配置的多个可同步聚合的子模型可以与各个训练成员一一对应，单个训练成员上的子模型和服务方的单个子模型串联相当于联合训练的模型。而服务方在各个子模型中待定参数的梯度或待定参数更新完成后，可以对待定参数的梯度或待定参数进行同步，以聚合为服务方切分得到的子模型。如此，可以大大减少各个训练成员之间计算的相互等待时间，提高联合训练模型的效率。
-
-
-
-
-
-
-
-
-
Search Results
222
records
(took 0.043 seconds)
