-
公开(公告)号：CN112288100A
公开(公告)日：2021-01-29
申请号：CN202011589914.8
申请日：2020-12-29
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书涉及一种基于联邦学习进行模型参数更新的方法、系统及装置，能够用于数据隐私保护。所述方法由参与方中的任一训练成员实现，所述方法包括对模型参数进行多轮迭代更新，其中一轮迭代更新包括：获取与其他参与方具有相同结构的待训练模型；基于自身持有的训练样本及样本标签进行对所述待训练模型进行训练，获得梯度矩阵；至少基于所述梯度矩阵以及第一超参数计算第一运算值矩阵；基于所述梯度矩阵计算第二运算值矩阵；将所述第一运算值矩阵和第二运算值矩阵上传给所述服务器，以便服务器更新服务器端的待训练模型的模型参数；从所述服务器获取更新后的模型参数以将其作为待训练模型进行下一轮迭代更新，或者基于此确定最终模型。
-
公开(公告)号：CN111931950B
公开(公告)日：2021-01-26
申请号：CN202011044286.5
申请日：2020-09-28
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N20/20
Abstract: 本说明书一个或多个实施例涉及一种基于联邦学习进行模型参数更新的方法及系统，可用于机器学习过程中的隐私数据保护，所述方法由参与方中的任一训练成员实现；其包括：获取具有与其他参与方相同结构的待训练初始模型；进行多次模型参数迭代更新，每次迭代包括：基于自身持有的训练样本进行模型训练，获得当前次迭代对应的模型数据矩阵；确定当前次迭代对应的传输比例，所述传输比例与迭代次数负相关；基于所述传输比例从所述模型数据矩阵中提取部分参数元素；基于所述部分参数元素生成参数传输矩阵；将所述参数传输矩阵上传给所述服务器；从所述服务器获取更新后的模型参数以基于此进行下一次迭代，或者基于此确定最终模型。
-
公开(公告)号：CN112052942A
公开(公告)日：2020-12-08
申请号：CN202010986099.2
申请日：2020-09-18
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供神经网络模型训练方法及装置。神经网络模型包括位于各个第一成员设备的第一神经网络子模型。各个第一成员设备使用私有数据进行模型预测得到预测标签数据并确定第一神经网络子模型的模型更新信息，将第一神经网络子模型的模型更新信息和本地样本分布信息提供给第二成员设备。第二成员设备根据各个第一成员设备的第一神经网络子模型的模型更新信息进行神经网络模型重构，根据各个第一成员设备的本地样本分布信息确定整体样本概率分布，并将重构后的神经网络模型和整体样本概率分布分发给各个第一成员设备。各个第一成员设备根据本地样本概率分布、重构后的神经网络模型以及整体样本概率分布更新第一神经网络子模型。
-
公开(公告)号：CN114723012B
公开(公告)日：2024-07-02
申请号：CN202210390305.2
申请日：2022-04-14
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N3/098 , G06N3/096 , G06N3/0464 , G06N3/084
Abstract: 本公开提供了一种基于分布式训练系统的计算方法和装置。分布式训练系统包括多个训练成员，多个训练成员包括多种角色，多种角色中的不同角色的训练成员在机器学习模型的训练过程中执行不同的操作，该方法应用于多个训练成员中的第一训练成员，该方法包括：获取多个模型，多个模型分别用于定义与机器学习模型的训练相关的多种计算操作；将多个模型输入至分布式模型，以对分布式模型进行初始化，分布式模型具有第一函数，第一函数用于定义多种角色在训练过程中各自需要执行的计算操作和通信操作；在训练过程中，根据分布式模型，执行第一训练成员的角色对应的计算操作和通信操作。
-
公开(公告)号：CN114819182B
公开(公告)日：2024-05-31
申请号：CN202210397805.9
申请日：2022-04-15
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供了用于经由多个数据拥有方训练模型的方法、装置及系统。在该方法中，各个第二数据拥有方根据第一数据确定出与各个第一数据相交的第二特征数据，执行下述主循环过程，直至满足第一循环结束条件：针对每个训练单元，利用第一训练样本和第二训练样本对参与该训练单元训练的第一模型、第二模型和第三模型进行协同训练，主服务器对各个训练单元的经过训练的第一模型和/或第三模型进行联邦聚合，以得到对应的第一全局模型和/或第三全局模型，在各个第一数据拥有方处和/或各个从服务器处，根据第一全局模型对第一模型进行更新和/或根据第三全局模型对第三模型进行更新。
-
Patent Agency Ranking
公开(公告)号：CN114004363B
公开(公告)日：2024-05-31
申请号：CN202111256451.8
申请日：2021-10-27
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N20/00
Abstract: 本说明书实施例提供一种联合更新模型的方法、装置及系统。通过本说明书实施例提供的方法、装置和系统，基于联合更新模型时的数据复合切分情形，设想将训练成员的数据进行分割，从而构成多个水平切分的子系统，在单个子系统内部，可以包括数据垂直切分的训练成员。这样，数据呈垂直切分的单个子系统通过分布在多个训练成员的训练样本在子系统内部迭代，从而更新待同步参数。而各个子系统之间，可以按照同步条件触发的同步周期进行数据同步。这种方式充分考虑各个训练成员的数据构成，为复杂数据结构下的联合更新模型提供解决方案，有利于扩展联邦学习的应用范围。
-
公开(公告)号：CN113672985B
公开(公告)日：2023-11-14
申请号：CN202110984175.0
申请日：2021-08-25
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供了用于对隐私保护的机器学习算法脚本进行编译的编译方法和编译器。根据该编译方法，编译器获取按照预定格式编写的描述脚本，其中至少定义，隐私保护的机器学习算法中的计算式。然后编译器确定用于执行所述计算式中涉及的若干算子的若干隐私算法；接着，获取用于执行所述若干隐私算法的若干代码模块；进而基于所述若干代码模块，生成所述描述脚本对应的程序代码。
-
公开(公告)号：CN116910546A
公开(公告)日：2023-10-20
申请号：CN202310849205.6
申请日：2023-07-11
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F18/214 , G06F18/24 , G06F21/60 , G06F21/62 , G06F18/213 , G06N3/04 , G06N3/08
Abstract: 一种多方参与的在线预测方法、系统和装置，该方法包括：第一方将第一特征输入第一特征提取网络，对输出结果进行同态加密，得到第一加密向量并发送到第二方；第二方将第二特征输入第二特征提取网络，对输出结果进行同态加密得到第二加密向量，对第一和第二加密向量进行同态计算得到目标向量；构建包括目标向量和n‑1个混淆向量的向量集合并发送给第一方，记录目标向量在向量集合中的排列位置；第一方将向量集合中各加密向量解密后输入分类网络的第一部分得到n个分类向量，对n个分类向量进行同态加密后发送给第二方；第二方根据排列位置、分类网络的第二部分，确定出加密预测结果并发送给第一方；第一方对加密预测结果进行解密，得到明文预测结果。
-
公开(公告)号：CN115544576A
公开(公告)日：2022-12-30
申请号：CN202211346052.5
申请日：2022-10-31
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种保护数据隐私的两方联合训练预测模型的方法及装置，两方各自持有多个用户的不同特征部分，部署针对不同特征部分的表征层，其中标签方还部署预测层。该方法包括：两方各自在本地处理同一批用户样本的特征部分，得到对应的正序表征，且无标签方还生成乱序方阵；然后，标签方基于其正序表征与无标签方中的正序表征和变换方阵进行安全多方计算，得到乱序融合表征，从而基于利用预测层处理乱序融合表征而得到的乱序预测结果，和基于正序用户标签与无标签方中的乱序方阵进行安全矩阵乘法而得到的乱序预测标签，确定传播至两个表征层的乱序梯度，接着无标签方基于乱序矩阵和乱序梯度确定正序梯度，用于两方各自更新本地表征层。
-
公开(公告)号：CN114861217A
公开(公告)日：2022-08-05
申请号：CN202210302973.5
申请日：2022-03-25
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供了一种多方联合训练中的数据同步方法及装置。其中，服务器对参与方设备共有的样本标识进行打乱顺序和采样，并将得到的第一样本标识序列发送至参与方设备，过程中不会泄露参与方的数据隐私。任意一个参与方设备从自身样本中获取按照第一样本标识序列排列的多个样本，并针对得到的训练集中的多个样本，按照既有排列顺序进行分批，得到多个分批样本和对应的分批次序，在需要进行模型联合训练时，确定本次模型训练的训练次序，基于训练次序确定对应的分批次序和分批样本，基于分批样本确定自身模型的输出结果。多个参与方设备基于训练次序和对应的输出结果进行数据交互和数据同步，以对各自的模型进行更新。
-
-
-
-
-
-
-
-
-
Search Results
116
records
(took 0.031 seconds)
