-
公开(公告)号：CN114969846A
公开(公告)日：2022-08-30
申请号：CN202210466963.5
申请日：2022-04-29
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种多方联合训练逻辑回归模型的方法，所述多方各自持有形成训练样本集的部分数据，所述方法应用于多方中任意的第一方；所述方法涉及多期训练，其中任一期包括：获取本期针对所述训练样本集划分出的多个批次；针对所述多个批次中的每个批次，基于该批次训练样本的第一特征分片和第一标签分片，以及所述逻辑回归模型的第一参数分片，确定第一损失分片，用于还原该批次对应的训练损失；在所述第一方为指定方的情况下，基于所述多个批次对应的多个训练损失，确定本期训练损失，用于评估本期训练后的逻辑回归模型的收敛状态。
-
公开(公告)号：CN114943274A
公开(公告)日：2022-08-26
申请号：CN202210394839.2
申请日：2022-04-15
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书一个或者多个实施例公开了一种模型训练方法、装置、存储介质、服务器、终端及系统。根据各特征训练终端中第一模型输出的第一输出层数据，可以求得服务器中第二模型输出的第二输出层数据，那么根据标签训练终端基于第二输出层数据返回的真实损失函数，可以求得真实损失函数关于服务器中第二模型的第二输出层数据的第一梯度，进而基于第一梯度可以求得第二模型的第一模拟损失函数，那么就可以基于第一模拟损失函数对第二模型进行更新，也可以实现对第一模型进行更新。
-
公开(公告)号：CN114912624A
公开(公告)日：2022-08-16
申请号：CN202210380964.8
申请日：2022-04-12
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种联合更新模型的方法及装置，提供一种针对业务模型的纵向联邦学习方法，其中的业务模型包括设于服务方的全局模型和设于各个训练成员的各个局部模型，其中的第一训练成员可以经由本地的第一局部模型对当前批次的若干条训练样本的第一特征数据进行处理，得到第一中间张量，然后针对第一中间张量进行基于预设的第一裁剪阈值的裁剪操作，形成第一规约张量，接着在第一规约张量上添加符合差分隐私的第一目标噪声，得到第一发布张量以提供给服务方，使得服务方通过全局模型处理第一发布张量，从而进行全局模型和第一局部模型的训练。这种方式可以有效保护数据隐私并使得隐私损失可控。
-
公开(公告)号：CN114742233A
公开(公告)日：2022-07-12
申请号：CN202210346184.1
申请日：2022-04-02
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种联合训练逻辑回归模型的方法，所述训练涉及包括样本特征、样本标签和模型参数在内的3种训练数据，均被拆分为分片分布于两方之中；该方法由两方中任意的第一方执行，包括：利用随机数组第一分片中的3个随机数第一分片，对3种训练数据对应的3个第一方分片对应进行掩码处理，得到3个第一掩码分片，并发送给第二方，该随机数组第一分片由第三方将其生成的随机数组中的各数值拆分为两方分片后，将分片之一发送给第一方；利用3个第一掩码分片和从第二方接收的3个第二掩码分片，构建对应3种训练数据的3个掩码数据；基于3个掩码数据和随机数组第一分片进行第一计算，得到第一梯度分片，用于更新模型参数的第一方分片。
-
公开(公告)号：CN114723069A
公开(公告)日：2022-07-08
申请号：CN202210397566.7
申请日：2022-04-15
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N20/00
Abstract: 本说明书实施例提出了一种参数更新方法、装置和电子设备，其中，上述参数更新方法中，服务器获取待训练的模型之后，将上述待训练的模型分割为训练节点子模型和服务器子模型，然后将上述训练节点子模型发送给参与训练的训练节点，接收训练节点上传的输出层矩阵，根据上述输出层矩阵更新服务器子模型的学习率，最后根据上述输出层矩阵和上述服务器子模型的学习率，利用后向传播更新服务器子模型和训练节点子模型的参数，从而可以实现调整训练成员所对应的模型学习率，降低差异性较大的训练成员对服务器模型更新的干扰，提高服务器模型的收敛速度。
-
Patent Agency Ranking
公开(公告)号：CN114723047A
公开(公告)日：2022-07-08
申请号：CN202210397221.1
申请日：2022-04-15
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N3/08
Abstract: 本说明书实施例提供任务模型训练方法、装置以及系统，其中任务模型训练方法，应用于训练设备，包括：在接收到服务器发送的第一子任务模型的情况下，先将本地训练样本输入第一子任务模型，得到输出向量；然后根据稀疏矩阵对输出向量进行稀疏化处理，得到隐层特征向量并发送至服务器；接着接收预测结果，基于预测结果与标签信息确定损失值，并基于损失值获取梯度向量；然后根据梯度向量，更新稀疏矩阵，返回执行将本地训练样本输入第一子任务模型的步骤，直至达到训练停止条件。极大降低了任务模型的迭代次数，同时保证了任务模型的收敛性；在保证收敛速度的前提下降低了任务模型的通信量，提高了训练速度。
-
公开(公告)号：CN114722435A
公开(公告)日：2022-07-08
申请号：CN202210390492.4
申请日：2022-04-14
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例公开了一种多方安全乘法，涉及n方，n为不小于3的正整数。每一方持有两个乘数的分片。任一计算参与方可将两个乘数的本地分片传输给其余一方或其余多方，以及从其余一方或其余多方获取两个乘数的其他分片，其中，其余多方的数量不大于n‑2。进而，所述任一计算参与方可将两个乘数的本地分片相乘得到本地乘积项，将一个乘数的本地分片和另一乘数的其他分片相乘得到一个或多个交叉项，并基于所述本地乘积项和所述一个或多个交叉项得到两个乘数的乘积的本地分片。
-
公开(公告)号：CN114662148A
公开(公告)日：2022-06-24
申请号：CN202210302945.3
申请日：2022-03-25
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供了一种保护隐私的多方联合训练方法及装置。第二设备和多个第一设备分别拥有完整模型中的第二部分模型和多个第一部分模型。任意一个第一设备通过自身的第一部分模型确定样本的包含隐私数据的提取特征，并基于提取特征确定用于对第一部分模型更新的第一梯度分片。多个第一设备与第二设备之间，通过基于多方安全计算的数据交互，使得第二设备得到对多个提取特征聚合后的聚合特征；第二设备利用聚合特征确定第二部分模型的输出数据，基于输出数据和聚合特征确定用于对第一部分模型更新的第二梯度分片，并将其发送至多个第一设备；多个第一设备分别基于第二梯度分片和自身确定的第一梯度分片，对自身的第一部分模型进行更新。
-
公开(公告)号：CN111460528B
公开(公告)日：2022-06-14
申请号：CN202010248683.8
申请日：2020-04-01
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书一个或多个实施例涉及一种基于Adam优化算法的多方联合训练方法及系统。所述方法包括：基于各个数据持有终端的通信状态确定参与模型参数更新的训练成员；服务器通过多方安全计算的方式获取累计数据；所述累计数据由所述训练成员基于自身的训练数据及其对应的模型参数确定；服务器基于所述累计数据以及样本标签参与累计梯度值的计算；所述累计梯度值用于所述训练成员计算自身的一阶矩和二阶矩，并基于所述一阶矩和二阶矩完成模型参数的更新；所述各个数据终端分别持有自身的训练数据以及与所述训练数据对应的模型参数；所述训练数据包括与实体相关的图像数据、文本数据或声音数据。其中，所述训练数据可以包括私有数据。
-
公开(公告)号：CN113159316B
公开(公告)日：2022-05-17
申请号：CN202110379664.3
申请日：2021-04-08
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例中提供了一种基于隐私保护的模型训练方法、进行预测业务的方法及装置。模型训练方法用于对经过预训练的业务预测模型进行基于隐私保护的增强训练，该业务预测模型包括第1至第n个网络层，该方法应用于包括可信执行环境和非可信执行环境的模型训练方，该方法包括：在可信执行环境中，通过增强卷积层对来自数据提供方并且对应于样本数据的变形数据执行预设可信计算，预设可信计算对变形数据进行预设处理以得到计算结果，该计算结果与利用第1个网络层对样本数据进行处理的结果等同；在非可信执行环境中，根据计算结果和样本数据对应的标签更新第2至第n个网络层的参数。
-
-
-
-
-
-
-
-
-
Search Results
382
records
(took 0.046 seconds)
