-
公开(公告)号:CN114819183B
公开(公告)日:2024-09-17
申请号:CN202210399999.6
申请日:2022-04-15
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N20/00
Abstract: 本说明书实施例公开了一种基于联邦学习的模型梯度确定方法、装置、设备及介质。方案包括:获取参与节点的数据体量信息;所述数据体量信息用于表示所述参与节点基于本地数据对基础训练模型进行训练时采用的数据量;获取所述参与节点基于本地数据对所述基础训练模型进行训练得到的节点局部梯度;根据所述数据体量信息,以及所述节点局部梯度,确定所述参与节点参与的联邦学习模型的全局梯度;基于所述参与节点的节点局部梯度,以及所述全局梯度,确定所述参与节点的参与度;基于所述参与度,确定所述参与节点的实际模型梯度。
-
公开(公告)号:CN114996449B
公开(公告)日:2024-06-28
申请号:CN202210574168.8
申请日:2022-05-25
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/35 , G06F18/23213 , G06F21/62
Abstract: 本说明书实施例提供一种基于隐私保护的多方联合数据聚类的方法及装置,第一方和第二方分别持有用于构成待聚类的所有样本对象的总特征矩阵的第一特征矩阵和第二特征矩阵;方法通过第一方执行,包括多轮迭代,任意一轮迭代包括:基于第一特征矩阵及第一质心分片,与第二方执行第一多方安全计算,得到距离矩阵的第一距离分片,距离矩阵的第二距离分片由第二方持有;基于第一距离分片,与第二方持有的第二距离分片执行安全比较计算,得到类簇索引矩阵的第一索引分片,类簇索引矩阵的第二索引分片由第二方持有;基于第一特征矩阵及第一索引分片,与第二方执行第二多方安全计算,得到本轮迭代更新后的第一质心分片,更新后的第二质心分片由第二方持有。
-
公开(公告)号:CN114638376B
公开(公告)日:2024-06-04
申请号:CN202210302971.6
申请日:2022-03-25
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N20/20 , G06F18/214 , G06F18/25 , G06F21/62
Abstract: 本说明书实施例提供了一种复合样本场景中的多方联合模型训练方法及装置。若干个第一类设备拥有水平切分数据,若干个第二类设备拥有垂直切分数据。服务器针对任一个第一类设备,将该第一类设备和所有第二类设备中匹配的样本标识对应的样本作为一个训练单元中的样本,并确定该训练单元的样本信息,将其发送至所有第二类设备。第二类设备基于多个训练单元的样本信息,将自身的全部样本拆分成与多个训练单元分别对应的样本组。服务器从多个训练单元中确定待训练的训练单元,向该训练单元关联的设备发送训练通知。该训练单元关联的设备基于各自拥有的样本中分别属于该训练单元的样本组,对网络模型进行联合训练,训练过程保护了各方样本的隐私数据。
-
公开(公告)号:CN111931870B
公开(公告)日:2024-02-20
申请号:CN202011023294.1
申请日:2020-09-25
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F18/214 , G06N20/00 , G06F18/27
Abstract: 本说明书的实施例提供一种基于模型复用的模型预测方法、装置及系统。在该模型预测方法中,使用模型拥有方处的多个可复用预测模型中的每个可复用预测模型来分别对数据拥有方处的待预测数据进行预测得到各个可复用预测模型的预测标签,所述预测标签通过在数据拥有方和模型拥有方之间对待预测数据和各个可复用预测模型分别进行安全计算得到,并且多个可复用预测模型具有相同的模型预测特征。随后,根据各个可复用预测模型的预测标签以及各个可复用预测模型的模型权重,确定待预测数据的预测标签,各个可复用预测模型的模型权重是在数据拥有方具有的数据样本集下的模型权重。
-
公开(公告)号:CN111966473B
公开(公告)日:2024-02-06
申请号:CN202010721528.3
申请日:2020-07-24
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本申请实施例提供了一种线性回归任务的运行方法及装置、电子设备。其中,线性回归任务的运行方法通过独立的运行针对第一自变量矩阵的每个列创建的线性回归任务,并在每个线性回归任务中,针对每一列向量,使用对应的校正算法对根据第一自变量矩阵和预设回归系数向量确定的公共向量进行校正,可以得到针对每一列向量的回归值向量,从而可以计算出每一列向量与其它列向量之间的共线性参数,使得在独立的并行运行多个线性回归任务时,不用在执行每个线性回归任务之前提前对第一自变量矩阵进行变形处理并存储,也即,无需存储多个第一自变量矩阵的变形矩阵,节约了存储空间,兼顾了线性回归任务的运行速度和内存占用的问题。
-
公开(公告)号:CN113407987B
公开(公告)日:2023-10-20
申请号:CN202110564443.3
申请日:2021-05-24
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供了一种保护隐私的确定业务数据特征有效值的方法及装置。业务数据分布在多个参与方中,多个参与方的业务数据能假定拼接成联合数据,其中包括多个对象针对多个特征项的特征值。多方分别获取联合数据分片、多个对象分别对应的预测值分片以及多个特征项分别对应的模型参数分片。这些预测值分片和模型参数分片均基于业务预测模型得到。多方可以利用多方安全计算,基于多方的联合数据分片和预测值分片,确定多方分别对应的相关性数据分片,其中包括多个特征项之间的相关性数据;然后,采用显著性检验法,基于多方的模型参数分片和相关性数据分片中的对应数据,确定模型参数对应的特征项在提升业务预测模型效果上的有效值。
-
公开(公告)号:CN113052323B
公开(公告)日:2023-05-23
申请号:CN202110306735.7
申请日:2021-03-23
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例公开了一种基于联邦学习的模型训练方法、装置和电子设备。所述方法包括:利用以下步骤进行迭代处理,直至满足迭代结束条件:接收多个参与方上传的第一模型参数信息及其对应的模型性能;以接收的第一模型参数信息为初始种群中的个体,以接收的模型性能为初始种群中个体的适应度,根据适应度,对所述初始种群中的个体进行遗传操作,得到优化种群;其中,所述优化种群中的个体用于表示第二模型参数信息;向多个参与方发送第二模型参数信息。本说明书实施例可以提高模型训练效率。
-
公开(公告)号:CN111651792B
公开(公告)日:2023-04-18
申请号:CN202010691949.6
申请日:2020-07-17
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F21/62 , G06Q10/0635 , G06N3/0464 , G06N20/00
Abstract: 本说明书实施例提供了一种多方协同学习中的风险检测、模型增强方法及装置。在风险检测方法中,服务器部署有第一模型,第一模型的第一模型参数通过对多个数据方各自存储的训练样本进行协同学习得到;针对获取服务器基于对第一模型的多次迭代训练对应得到的多组第一模型参数,基于多组第一模型参数之间对应参数的差值,确定模型参数梯度向量,将与多个数据方中的训练样本为同构数据的本地样本的样本特征向量,与模型参数梯度向量进行拼接,得到本地更新样本,采用本地更新样本训练第二模型,采用预设的测试集确定训练后的第二模型的第一预测性能值,当第一预测性能值大于预设阈值时,确定第一模型存在泄露训练样本隐私的风险。
-
公开(公告)号:CN115049011A
公开(公告)日:2022-09-13
申请号:CN202210737329.0
申请日:2022-06-27
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种检测联邦学习的训练成员模型贡献度的方法及装置,尤其适用于横向联邦学习过程中,对各个训练成员数据质量检测或评估训练成员本地隐私数据对模型的整体质量影响。该方案可由服务方执行,在单个同步周期,从各个训练成员接收各个局部模型分别对应的各个局部参数集,然后按照预定同步策略对各个局部参数集进行融合,得到与全局模型对应的全局参数集,再分别检测各个局部参数集与所述全局参数集之间的各个相关系数,并利用各个相关系数确定各个训练成员在当前同步周期分别对应的各个当前贡献度,从而确定各个训练成员在联邦学习过程中的模型贡献度。该方式可以更准确地衡量训练成员数据的重要性。
-
公开(公告)号:CN111027713B
公开(公告)日:2022-09-02
申请号:CN201911261423.8
申请日:2019-12-10
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N20/00
Abstract: 本说明书中的实施例提供了共享机器学习系统及方法。共享机器学习系统包括多个计算节点,多个计算节点中的至少部分计算节点具备可信执行环境。具备可信执行环境的计算节点能够接收来自一个或多个数据源的私有数据,以及在可信执行环境中使用所述私有数据执行集中式共享机器学习任务和/或与其他计算节点协同执行分布式共享机器学习任务。
-
-
-
-
-
-
-
-
-