-
公开(公告)号：CN115049011B
公开(公告)日：2024-07-26
申请号：CN202210737329.0
申请日：2022-06-27
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种检测联邦学习的训练成员模型贡献度的方法及装置，尤其适用于横向联邦学习过程中，对各个训练成员数据质量检测或评估训练成员本地隐私数据对模型的整体质量影响。该方案可由服务方执行，在单个同步周期，从各个训练成员接收各个局部模型分别对应的各个局部参数集，然后按照预定同步策略对各个局部参数集进行融合，得到与全局模型对应的全局参数集，再分别检测各个局部参数集与所述全局参数集之间的各个相关系数，并利用各个相关系数确定各个训练成员在当前同步周期分别对应的各个当前贡献度，从而确定各个训练成员在联邦学习过程中的模型贡献度。该方式可以更准确地衡量训练成员数据的重要性。
-
公开(公告)号：CN118332598A
公开(公告)日：2024-07-12
申请号：CN202410517218.8
申请日：2024-04-26
Applicant: 浙江大学 , 支付宝(杭州)信息技术有限公司
IPC: G06F21/62 , G06F16/9535 , G06N3/0442 , G06N3/092
Abstract: 本说明书实施例涉及针对推荐模型训练安全评估模型的方法及装置，方法包括：获取推荐模型生成的第一推荐项目列表，以及获取第一候选项目集合；基于深度强化学习对智能体进行目标训练，训练完成的智能体作为对推荐模型的安全评估模型；目标训练包括：基于智能体在之前的若干步动作中选择的项目形成第一项目序列，作为第一状态；将第一状态输入智能体，使其从第一候选项目集合中选择第一项目作为第一动作，将第一项目添加到第一项目序列中，形成第二状态；将第二状态对应的第二项目序列输入到推荐模型中，得到第二推荐项目列表；根据第二推荐项目列表与第一推荐项目列表之间的相似度，确定第一回报；至少根据第一回报，更新智能体。
-
公开(公告)号：CN117648968A
公开(公告)日：2024-03-05
申请号：CN202311546596.0
申请日：2023-11-17
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N3/098 , G06N3/0499 , G06N3/045 , G06F18/213 , G06F18/25 , G06F18/241 , G06N3/096
Abstract: 本说明书实施例提供一种预测模型的训练方法，应用于多方中的第一方。该方法包括：基于多方中共有样本的第一原始特征和样本标签，与多方中的其他方进行垂直拆分学习，使得多方对应得到训练好的多个特征提取模型，并且，第一方还得到训练好的融合特征处理模型；获取共有样本的目标融合特征，其通过对多个特征提取模型针对共有样本输出的多个提取特征进行融合处理而得到；利用目标模型处理第一原始特征得到目标提取特征；利用训练好的融合特征处理模型处理目标提取特征，得到目标预测结果；基于目标预测结果和对应的样本标签，以及目标提取特征和目标融合特征，训练目标模型，该目标模型用于和融合特征处理模型构建出训练好的预测模型。
-
公开(公告)号：CN116468115A
公开(公告)日：2023-07-21
申请号：CN202310459417.3
申请日：2023-04-23
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N3/098
Abstract: 本说明书实施例提供一种联合更新模型的方法及装置，用于纵向联邦学习架构。其中，特征成员利用本地的局部模型处理本地的特征数据得到中间张量，并向标签成员传递将中间张量稀疏化后得到的稀疏张量。标签成员通过全局模型中的融合模块，基于相应的各个融合权重融合各个稀疏张量，并把各个融合权重作为注意力机制下的待定参数，在模型训练过程中进行调整。这种稀疏张量融合方式，可以降低特征成员和标签成员的通信量，并经由利用融合权重关注由各个稀疏张量确定的有效元素的重要程度，从而在提高模型收敛速度的基础上，保证模型准确性。
-
公开(公告)号：CN116226672A
公开(公告)日：2023-06-06
申请号：CN202310445020.9
申请日：2023-04-23
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F18/214 , G06F18/25 , G06N3/0464 , G06N3/044 , G06N3/08
Abstract: 本说明书实施例提供一种两方联合进行模型训练的方法及装置，两方各自持有相同样本的不同特征部分，其中一方持有标签。该方法包括：两方各自利用本地的隐层模型处理同一批样本的不同特征部分，得到对应的正序输出；然后，标签方基于其正序输出与无标签方的正序输出和乱序方阵进行安全多方计算，得到乱序融合输出，从而根据利用本地的目标模型处理乱序融合输出而得到的乱序预测结果，以及基于其持有的正序样本标签与无标签方的乱序方阵进行安全矩阵乘法而得到的乱序样本标签，更新目标模型并确定传播至隐层模型的乱序梯度；之后，标签方固定目标模型的参数，并利用本地样本数据更新其本地的隐层模型，无标签方基于乱序梯度更新其本地的隐层模型。
-
Patent Agency Ranking
公开(公告)号：CN115358387A
公开(公告)日：2022-11-18
申请号：CN202210988137.7
申请日：2022-08-17
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种两方联合更新模型的方法及装置，在纵向联邦学习架构下，标签持有方生成同态加密的密钥对，其中的第一密钥可以公开给另一方，第二密钥在本地持有，非标签持有方可以生成乱序算法。标签持有方对本地特征的局部处理结果以密态形式提供给第二方，由非标签持有方将本地特征的局部处理结果与标签持有方提供的局部处理结果进行密态乱序融合。非标签持有方将密态乱序融合结果提供给标签持有方，由标签持有方基于第二密钥的解密在明文状态下完成预测并确定模型损失。基于模型损失的梯度反向传播，标签持有方得到乱序融合结果的梯度，该梯度可由非标签持有方恢复顺序并稀疏化后用于各方局部模型待定参数更新。
-
公开(公告)号：CN114925744A
公开(公告)日：2022-08-19
申请号：CN202210391540.1
申请日：2022-04-14
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本公开披露了一种联合训练的方法及装置。所述联合训练包括多个训练成员，所述多个训练成员用于对神经网络模型进行训练，所述多个训练成员包括第一训练成员和第二训练成员，所述第一训练成员的本地样本数据不包含标签数据，所述第一训练成员的本地模型为所述神经网络模型的前N层，所述第二训练成员的本地样本数据包含标签数据，所述第二训练成员的本地模型为所述神经网络模型，所述方法应用于所述第二训练成员，所述方法包括：从所述第一训练成员接收第一训练结果，所述第一训练结果为所述第一训练成员的本地模型的训练结果；根据所述第二训练成员的本地样本数据和所述第一训练结果，对所述第二训练成员的本地模型进行训练。
-
公开(公告)号：CN114827308A
公开(公告)日：2022-07-29
申请号：CN202210399111.9
申请日：2022-04-15
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例公开了一种模型训练数据传输方法、装置、设备和可读介质。方案可以包括：第一训练成员端将基于所述第一训练成员端的训练成员模型计算得到的第一隐层数据按照第一预设方式进行划分，得到多个隐层分片，其中包括第一隐层分片，所述第一隐层分片与所述第一隐层数据的第一目标范围内的数据相对应；向服务器上传所述第一隐层分片；服务器基于所述第一隐层分片以及各个第二训练成员端上传的第二隐层分片，确定第一隐层分片梯度，所述第二隐层分片与所述第二隐层数据的对应于第一目标范围的第二目标范围内的数据相对应；服务器将所述第一隐层分片梯度发送给所述第一训练成员端。
-
公开(公告)号：CN114676849A
公开(公告)日：2022-06-28
申请号：CN202210294785.2
申请日：2022-03-24
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N20/00
Abstract: 本说明书提供基于联邦学习进行模型参数更新的方法及系统，其中方法由参与方中的任一训练成员设备实现，其中，参与方包括多个训练成员设备以及服务器，方法包括对模型参数进行多轮迭代更新，其中一轮迭代更新包括：获取训练成员设备的当前轮的待训练模型以及服务器当前轮下发的聚合模型；计算待训练模型和聚合模型对应的模型参数之间的相关性系数；从相关性系数中确定第一相关性系数以及第二相关性系数；将待训练模型的、与第一相关性系数对应的模型参数更新为聚合模型的、与第一相关性系数对应的模型参数，并使待训练模型的、与第二相关性系数对应的模型参数维持不变；以及基于训练成员设备自身持有的训练样本，对更新后的待训练模型进行训练。
-
公开(公告)号：CN113379042B
公开(公告)日：2022-05-17
申请号：CN202110835599.0
申请日：2021-07-23
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供了一种保护数据隐私的业务预测模型训练方法及装置。在训练过程中，成员设备利用自身持有的对象特征数据，通过业务预测模型进行预测，利用预测结果确定用于更新模型参数的更新参量，其中包括针对业务预测模型的多个计算层的多个子参量；利用多个子参量，将多个计算层划分成第一类计算层和第二类计算层，第一类计算层的子参量值在指定范围以内；对第一类计算层的子参量进行隐私处理，并输出处理后子参量。多个成员设备的处理后子参量可以被聚合成聚合子参量。成员设备可以获取第一类计算层的聚合子参量，并利用聚合子参量和第二类计算层的子参量，对模型参数进行更新。
-
-
-
-
-
-
-
-
-
Search Results
116
records
(took 0.041 seconds)
