-
公开(公告)号：CN117786495A
公开(公告)日：2024-03-29
申请号：CN202311829082.6
申请日：2023-12-27
Applicant: 支付宝(杭州)信息技术有限公司 , 上海交通大学
IPC: G06F18/241 , G06N20/00
Abstract: 本说明书实施例提供了一种针对联邦学习的鲁棒性测试方法和系统，联邦学习通过多方进行，该方法包括：多方中的第一方通过生成式人工智能模型，生成目标样本的预设风格的模拟样本，将其分类标签设置为与其原始标签不同的目标标签；根据模拟样本和目标标签获取本方本地模型的更新参数并发送到服务器；服务器根据多方分别发送的本地模型的更新参数确定全局更新参数，其中，第一方之外的其他方根据各自的本地样本及其原始标签获取各自本地模型的更新参数并发送到服务器，其他方中的第二方的本地样本包括目标样本；服务器将全局更新参数发送到多方，用于多方分别更新各自的本地模型；通过目标样本和模拟样本，测试第二方更新后的本地模型的鲁棒性指标。
-
公开(公告)号：CN117312842A
公开(公告)日：2023-12-29
申请号：CN202310848919.5
申请日：2023-07-11
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F18/214 , G06F18/24 , G06F21/60 , G06F21/62 , G06F18/213 , G06N3/04 , G06N3/08
Abstract: 本说明书实施例提供了一种多方参与的模型训练方法、系统和装置，该方法包括：第一方将多个第一特征输入第一特征提取网络，同态加密输出结果得到多个第一加密向量并发送到第二方；第二方将多个第二特征输入第二特征提取网络，同态加密输出结果得到多个第二加密向量；第二方对多个第一加密向量和多个第二加密向量进行同态计算，得到多个融合加密向量并乱序化后发送到第一方，记录乱序前后的第一对应关系；第一方解密多个融合加密向量并输入分类网络第一部分，得到多个隐向量；第一方利用多个隐向量、分类标签，第二方利用分类网络第二部分的网络参数和第一对应关系，进行多方安全计算，确定第一损失；第一方和第二方，根据第一损失更新分类网络。
-
公开(公告)号：CN114827308B
公开(公告)日：2023-11-17
申请号：CN202210399111.9
申请日：2022-04-15
Applicant: 支付宝(杭州)信息技术有限公司
IPC: H04L69/22 , H04L69/24 , G06N3/0464 , G06N3/08
Abstract: 本说明书实施例公开了一种模型训练数据传输方法、装置、设备和可读介质。方案可以包括：第一训练成员端将基于所述第一训练成员端的训练成员模型计算得到的第一隐层数据按照第一预设方式进行划分，得到多个隐层分片，其中包括第一隐层分片，所述第一隐层分片与所述第一隐层数据的第一目标范围内的数据相对应；向服务器上传所述第一隐层分片；服务器基于所述第一隐层分片以及各个第二训练成员端上传的第二隐层分片，确定第一隐层分片梯度，所述第二隐层分片与所述第二隐层数据的对应于第一目标范围的第二目标范围内的数据相对应；服务器将所述第一隐层分片梯度发送给所述第一训练成员端。
-
公开(公告)号：CN116822620A
公开(公告)日：2023-09-29
申请号：CN202310790640.6
申请日：2023-06-29
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种联合更新模型的方法及装置，适用于纵向联邦学习架构，基于特征成员的乱序处理和标签成员对标签数据、预测数据的隐藏处理的技术构思，进行适当的数据交互。具体而言，由单个特征成员将各个特征成员的中间结果的融合张量在样本维度乱序，标签成员使用乱序的融合张量进行预测。标签成员将乱序的融合张量和正常顺序的标签数据隐藏在扰乱数据中提供给该单个特征成员，由其反馈乱序情况下预测结果的梯度数据，从而标签成员更新全局模型，并经由梯度的反向传递确定乱序情况下的融合数据的梯度信息传递给该特征成员，由其更新本地局部模型。如此可以使得标签明文传输，避免标签成员恶意标记数据，更有效保护数据隐私。
-
公开(公告)号：CN116777001A
公开(公告)日：2023-09-19
申请号：CN202310654035.6
申请日：2023-06-02
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例中提供了一种多方联合的模型处理方法及装置，涉及第一参与方和第二参与方。由第一参与方所执行的方法包括：将目标数据的第一特征数据输入第一参与方本地部署的第一子模型，获得第一子模型输出的第一中间数据；获取第二中间数据的第一压缩编码，第二中间数据是利用第一中间数据中的若干非0元素组成的稀疏表征；向第二参与方发送第一压缩编码，使得第二参与方对第一压缩编码进行解码以获得第二中间数据，并向其本地部署的预测子模型输入根据第二中间数据确定的输入数据，获得预测子模型输出的目标数据的预测结果。
-
Patent Agency Ranking
公开(公告)号：CN113377797B
公开(公告)日：2023-03-28
申请号：CN202110753670.0
申请日：2021-07-02
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种联合更新模型的方法、装置及系统，用于服务方与k个数据方联合更新模型的过程。其中，各个数据方分别利用本地训练样本更新模型对应的M个待同步参数并选择部分更新值以及当前同步周期使用的本地训练样本数量上传至服务方，服务方根据各个数据方上传的训练样本数量聚合各个待同步参数的更新值，得到各个聚合值构成的同步参数集Wt，并反馈给各个数据方，各个数据方利用同步参数集Wt，更新本地的待定参数，从而更新本地模型。这种实施方式可以提高模型精度，加快收敛速度。
-
公开(公告)号：CN114723012A
公开(公告)日：2022-07-08
申请号：CN202210390305.2
申请日：2022-04-14
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本公开提供了一种基于分布式训练系统的计算方法和装置。分布式训练系统包括多个训练成员，多个训练成员包括多种角色，多种角色中的不同角色的训练成员在机器学习模型的训练过程中执行不同的操作，该方法应用于多个训练成员中的第一训练成员，该方法包括：获取多个模型，多个模型分别用于定义与机器学习模型的训练相关的多种计算操作；将多个模型输入至分布式模型，以对分布式模型进行初始化，分布式模型具有第一函数，第一函数用于定义多种角色在训练过程中各自需要执行的计算操作和通信操作；在训练过程中，根据分布式模型，执行第一训练成员的角色对应的计算操作和通信操作。
-
公开(公告)号：CN114638376A
公开(公告)日：2022-06-17
申请号：CN202210302971.6
申请日：2022-03-25
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供了一种复合样本场景中的多方联合模型训练方法及装置。若干个第一类设备拥有水平切分数据，若干个第二类设备拥有垂直切分数据。服务器针对任一个第一类设备，将该第一类设备和所有第二类设备中匹配的样本标识对应的样本作为一个训练单元中的样本，并确定该训练单元的样本信息，将其发送至所有第二类设备。第二类设备基于多个训练单元的样本信息，将自身的全部样本拆分成与多个训练单元分别对应的样本组。服务器从多个训练单元中确定待训练的训练单元，向该训练单元关联的设备发送训练通知。该训练单元关联的设备基于各自拥有的样本中分别属于该训练单元的样本组，对网络模型进行联合训练，训练过程保护了各方样本的隐私数据。
-
公开(公告)号：CN113360514B
公开(公告)日：2022-05-17
申请号：CN202110753197.6
申请日：2021-07-02
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种联合更新模型的方法、装置及系统，在当前同步周期，各个数据方在利用本地训练样本在本地更新完模型对应的待同步参数后，可以利用本地当前的带宽，以及服务方针对单个同步周期的最大等待时长，确定在当前同步周期需向服务器上传的待同步参数数量。之后，可以根据需向服务器上传的待同步参数数量从待同步参数集中选择相应的待同步参数上传至服务方。服务方在最大等待时长到达时，将各个数据方分别发送的若干待同步参数进行聚合，形成同步参数集，反馈给各个数据方用于当前同步周期的数据同步。这种实施方式可以避免通信阻塞，提高训练效率。
-
公开(公告)号：CN114330673A
公开(公告)日：2022-04-12
申请号：CN202210250437.5
申请日：2022-03-15
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供了一种对业务预测模型进行多方联合训练的方法及装置。其中，第一设备和第二设备分别拥有完整模型中的第一部分模型和第二部分模型。第一设备利用第一输入数据确定第一部分模型的第一输出数据，并将其发送至第二设备，接着，基于第一输出数据确定用于对第一部分模型进行更新的第一梯度分片。第二设备利用第一设备发送的第一输出数据确定第二部分模型的第二输出数据。然后，第二设备基于第二输出数据和第一输出数据，确定用于对第一部分模型进行更新的第二梯度分片，并将其发送至第一设备。这样，第一设备可以利用第一梯度分片和第二梯度分片，对第一部分模型进行更新。在该过程中，多个设备并不将各自的隐私数据向外发送。
-
-
-
-
-
-
-
-
-
Search Results
116
records
(took 0.038 seconds)
