-
公开(公告)号：CN114638376B
公开(公告)日：2024-06-04
申请号：CN202210302971.6
申请日：2022-03-25
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N20/20 , G06F18/214 , G06F18/25 , G06F21/62
Abstract: 本说明书实施例提供了一种复合样本场景中的多方联合模型训练方法及装置。若干个第一类设备拥有水平切分数据，若干个第二类设备拥有垂直切分数据。服务器针对任一个第一类设备，将该第一类设备和所有第二类设备中匹配的样本标识对应的样本作为一个训练单元中的样本，并确定该训练单元的样本信息，将其发送至所有第二类设备。第二类设备基于多个训练单元的样本信息，将自身的全部样本拆分成与多个训练单元分别对应的样本组。服务器从多个训练单元中确定待训练的训练单元，向该训练单元关联的设备发送训练通知。该训练单元关联的设备基于各自拥有的样本中分别属于该训练单元的样本组，对网络模型进行联合训练，训练过程保护了各方样本的隐私数据。
-
公开(公告)号：CN113052323B
公开(公告)日：2023-05-23
申请号：CN202110306735.7
申请日：2021-03-23
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例公开了一种基于联邦学习的模型训练方法、装置和电子设备。所述方法包括：利用以下步骤进行迭代处理，直至满足迭代结束条件：接收多个参与方上传的第一模型参数信息及其对应的模型性能；以接收的第一模型参数信息为初始种群中的个体，以接收的模型性能为初始种群中个体的适应度，根据适应度，对所述初始种群中的个体进行遗传操作，得到优化种群；其中，所述优化种群中的个体用于表示第二模型参数信息；向多个参与方发送第二模型参数信息。本说明书实施例可以提高模型训练效率。
-
公开(公告)号：CN115049011A
公开(公告)日：2022-09-13
申请号：CN202210737329.0
申请日：2022-06-27
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种检测联邦学习的训练成员模型贡献度的方法及装置，尤其适用于横向联邦学习过程中，对各个训练成员数据质量检测或评估训练成员本地隐私数据对模型的整体质量影响。该方案可由服务方执行，在单个同步周期，从各个训练成员接收各个局部模型分别对应的各个局部参数集，然后按照预定同步策略对各个局部参数集进行融合，得到与全局模型对应的全局参数集，再分别检测各个局部参数集与所述全局参数集之间的各个相关系数，并利用各个相关系数确定各个训练成员在当前同步周期分别对应的各个当前贡献度，从而确定各个训练成员在联邦学习过程中的模型贡献度。该方式可以更准确地衡量训练成员数据的重要性。
-
公开(公告)号：CN114943274A
公开(公告)日：2022-08-26
申请号：CN202210394839.2
申请日：2022-04-15
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书一个或者多个实施例公开了一种模型训练方法、装置、存储介质、服务器、终端及系统。根据各特征训练终端中第一模型输出的第一输出层数据，可以求得服务器中第二模型输出的第二输出层数据，那么根据标签训练终端基于第二输出层数据返回的真实损失函数，可以求得真实损失函数关于服务器中第二模型的第二输出层数据的第一梯度，进而基于第一梯度可以求得第二模型的第一模拟损失函数，那么就可以基于第一模拟损失函数对第二模型进行更新，也可以实现对第一模型进行更新。
-
公开(公告)号：CN114723069A
公开(公告)日：2022-07-08
申请号：CN202210397566.7
申请日：2022-04-15
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N20/00
Abstract: 本说明书实施例提出了一种参数更新方法、装置和电子设备，其中，上述参数更新方法中，服务器获取待训练的模型之后，将上述待训练的模型分割为训练节点子模型和服务器子模型，然后将上述训练节点子模型发送给参与训练的训练节点，接收训练节点上传的输出层矩阵，根据上述输出层矩阵更新服务器子模型的学习率，最后根据上述输出层矩阵和上述服务器子模型的学习率，利用后向传播更新服务器子模型和训练节点子模型的参数，从而可以实现调整训练成员所对应的模型学习率，降低差异性较大的训练成员对服务器模型更新的干扰，提高服务器模型的收敛速度。
-
Patent Agency Ranking
公开(公告)号：CN114723047A
公开(公告)日：2022-07-08
申请号：CN202210397221.1
申请日：2022-04-15
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N3/08
Abstract: 本说明书实施例提供任务模型训练方法、装置以及系统，其中任务模型训练方法，应用于训练设备，包括：在接收到服务器发送的第一子任务模型的情况下，先将本地训练样本输入第一子任务模型，得到输出向量；然后根据稀疏矩阵对输出向量进行稀疏化处理，得到隐层特征向量并发送至服务器；接着接收预测结果，基于预测结果与标签信息确定损失值，并基于损失值获取梯度向量；然后根据梯度向量，更新稀疏矩阵，返回执行将本地训练样本输入第一子任务模型的步骤，直至达到训练停止条件。极大降低了任务模型的迭代次数，同时保证了任务模型的收敛性；在保证收敛速度的前提下降低了任务模型的通信量，提高了训练速度。
-
公开(公告)号：CN114662148A
公开(公告)日：2022-06-24
申请号：CN202210302945.3
申请日：2022-03-25
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供了一种保护隐私的多方联合训练方法及装置。第二设备和多个第一设备分别拥有完整模型中的第二部分模型和多个第一部分模型。任意一个第一设备通过自身的第一部分模型确定样本的包含隐私数据的提取特征，并基于提取特征确定用于对第一部分模型更新的第一梯度分片。多个第一设备与第二设备之间，通过基于多方安全计算的数据交互，使得第二设备得到对多个提取特征聚合后的聚合特征；第二设备利用聚合特征确定第二部分模型的输出数据，基于输出数据和聚合特征确定用于对第一部分模型更新的第二梯度分片，并将其发送至多个第一设备；多个第一设备分别基于第二梯度分片和自身确定的第一梯度分片，对自身的第一部分模型进行更新。
-
公开(公告)号：CN111460528B
公开(公告)日：2022-06-14
申请号：CN202010248683.8
申请日：2020-04-01
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书一个或多个实施例涉及一种基于Adam优化算法的多方联合训练方法及系统。所述方法包括：基于各个数据持有终端的通信状态确定参与模型参数更新的训练成员；服务器通过多方安全计算的方式获取累计数据；所述累计数据由所述训练成员基于自身的训练数据及其对应的模型参数确定；服务器基于所述累计数据以及样本标签参与累计梯度值的计算；所述累计梯度值用于所述训练成员计算自身的一阶矩和二阶矩，并基于所述一阶矩和二阶矩完成模型参数的更新；所述各个数据终端分别持有自身的训练数据以及与所述训练数据对应的模型参数；所述训练数据包括与实体相关的图像数据、文本数据或声音数据。其中，所述训练数据可以包括私有数据。
-
公开(公告)号：CN111401483B
公开(公告)日：2022-05-17
申请号：CN202010411914.2
申请日：2020-05-15
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本发明公开了一种用于多方模型训练的样本数据处理方法及装置。在该方法中，基于样本数据的数据标签，将第一样本数据集分类为第二样本数据集和第三样本数据集，第二样本数据集中的第二样本数据具有唯一数据标签，以及第三样本数据集中的第三样本数据具有至少两个不同的数据标签。使用第二样本数据集进行模型训练，以训练出第一模型。使用第一模型来对各个第一成员节点的本地数据进行数据质量评估。基于各个第一成员节点的数据质量评估结果，对第三样本数据集中的第三样本数据进行标签重构，所述经过标签重构后的第三样本数据具有唯一数据标签。
-
公开(公告)号：CN113722760A
公开(公告)日：2021-11-30
申请号：CN202111040498.0
申请日：2021-09-06
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例公开了一种隐私保护的模型训练方法和系统，所述参与方包括多个训练成员以及服务器，训练成员以及服务器具有相同结构的待训练模型，所述方法其中一轮迭代更新包括：利用自身持有的训练样本对待训练模型进行至少一次本地训练，得到模型数据；所述模型数据中的部分元素添加有噪声；至少基于当前迭代轮次确定传输数据比例，并基于所述传输数据比例从所述模型数据中选出部分元素，得到传输数据；将所述传输数据传输给服务器，以便服务器进行模型数据聚合；接收服务器返回的模型数据更新结果，并基于所述模型数据更新结果进行本地模型更新，将更新后的本地模型作为待训练模型进行下一轮迭代更新，或者基于此确定最终模型。
-
-
-
-
-
-
-
-
-
Search Results
116
records
(took 0.048 seconds)
