一种基于隐私数据进行模型训练的方法及系统

    公开(公告)号:CN111125735A

    公开(公告)日:2020-05-08

    申请号:CN201911329590.1

    申请日:2019-12-20

    Inventor: 陈超超 王力 周俊

    Abstract: 本说明书一个或多个实施例涉及一种基于隐私数据进行模型训练的方法及系统。该方法包括:第二终端接收来自第一终端的加密后的第一隐私数据;第一隐私数据由与其对应的特征和模型参数确定;第二终端至少将加密后的第一隐私数据与第二隐私数据的加密数据进行计算,得到加密后的结果;第二隐私数据由与其对应的特征和模型参数确定;第二终端基于所述加密后的结果以及样本标签,得到至少基于所述第一隐私数据和第二隐私数据联合训练的模型的加密损失值;通过第三方将所述加密损失值参与第一解密梯度和第二解密梯度的计算;第一解密梯度和第二解密梯度分别与第一隐私数据和第二隐私数据对应,第一解密梯度和第二解密梯度用于更新联合训练的模型。

    一种基于可选隐私数据进行模型训练的方法及系统

    公开(公告)号:CN111079947A

    公开(公告)日:2020-04-28

    申请号:CN201911334019.9

    申请日:2019-12-20

    Inventor: 陈超超 王力 周俊

    Abstract: 本说明书一个或多个实施例涉及一种基于可选隐私数据进行模型训练的方法及系统。所述方法包括:标签持有终端接收至少来自第一终端的第一类数据和第二类数据的运算积;所述第一类数据和第二类数据对应不同的隐私等级;标签持有终端基于接收到的第一类数据、第二类数据的运算积以及标签持有终端的第二数据,确定数据累计值;标签持有终端基于数据累计值以及样本标签,确定至少基于标签持有终端和第一终端联合训练的模型的损失值;将损失值参与梯度值的计算;所述梯度值用于更新所述联合训练的模型;其中,第一终端持有第一数据,包括第一类数据和第二类数据;标签持有终端持有第二数据以及样本标签;第一数据与第二数据对应于相同的训练样本。

    基于模型复用的模型预测方法、模型预测装置及系统

    公开(公告)号:CN111931870B

    公开(公告)日:2024-02-20

    申请号:CN202011023294.1

    申请日:2020-09-25

    Inventor: 陈超超 王力 周俊

    Abstract: 本说明书的实施例提供一种基于模型复用的模型预测方法、装置及系统。在该模型预测方法中,使用模型拥有方处的多个可复用预测模型中的每个可复用预测模型来分别对数据拥有方处的待预测数据进行预测得到各个可复用预测模型的预测标签,所述预测标签通过在数据拥有方和模型拥有方之间对待预测数据和各个可复用预测模型分别进行安全计算得到,并且多个可复用预测模型具有相同的模型预测特征。随后,根据各个可复用预测模型的预测标签以及各个可复用预测模型的模型权重,确定待预测数据的预测标签,各个可复用预测模型的模型权重是在数据拥有方具有的数据样本集下的模型权重。

    保护隐私的确定业务数据特征有效值的方法及装置

    公开(公告)号:CN113407987B

    公开(公告)日:2023-10-20

    申请号:CN202110564443.3

    申请日:2021-05-24

    Abstract: 本说明书实施例提供了一种保护隐私的确定业务数据特征有效值的方法及装置。业务数据分布在多个参与方中,多个参与方的业务数据能假定拼接成联合数据,其中包括多个对象针对多个特征项的特征值。多方分别获取联合数据分片、多个对象分别对应的预测值分片以及多个特征项分别对应的模型参数分片。这些预测值分片和模型参数分片均基于业务预测模型得到。多方可以利用多方安全计算,基于多方的联合数据分片和预测值分片,确定多方分别对应的相关性数据分片,其中包括多个特征项之间的相关性数据;然后,采用显著性检验法,基于多方的模型参数分片和相关性数据分片中的对应数据,确定模型参数对应的特征项在提升业务预测模型效果上的有效值。

    基于联邦学习的模型训练方法、装置和电子设备

    公开(公告)号:CN113052323B

    公开(公告)日:2023-05-23

    申请号:CN202110306735.7

    申请日:2021-03-23

    Abstract: 本说明书实施例公开了一种基于联邦学习的模型训练方法、装置和电子设备。所述方法包括:利用以下步骤进行迭代处理,直至满足迭代结束条件:接收多个参与方上传的第一模型参数信息及其对应的模型性能;以接收的第一模型参数信息为初始种群中的个体,以接收的模型性能为初始种群中个体的适应度,根据适应度,对所述初始种群中的个体进行遗传操作,得到优化种群;其中,所述优化种群中的个体用于表示第二模型参数信息;向多个参与方发送第二模型参数信息。本说明书实施例可以提高模型训练效率。

    任务模型训练方法、装置以及系统

    公开(公告)号:CN114723047A

    公开(公告)日:2022-07-08

    申请号:CN202210397221.1

    申请日:2022-04-15

    Abstract: 本说明书实施例提供任务模型训练方法、装置以及系统,其中任务模型训练方法,应用于训练设备,包括:在接收到服务器发送的第一子任务模型的情况下,先将本地训练样本输入第一子任务模型,得到输出向量;然后根据稀疏矩阵对输出向量进行稀疏化处理,得到隐层特征向量并发送至服务器;接着接收预测结果,基于预测结果与标签信息确定损失值,并基于损失值获取梯度向量;然后根据梯度向量,更新稀疏矩阵,返回执行将本地训练样本输入第一子任务模型的步骤,直至达到训练停止条件。极大降低了任务模型的迭代次数,同时保证了任务模型的收敛性;在保证收敛速度的前提下降低了任务模型的通信量,提高了训练速度。

    一种基于Adam优化算法的多方联合训练方法及系统

    公开(公告)号:CN111460528B

    公开(公告)日:2022-06-14

    申请号:CN202010248683.8

    申请日:2020-04-01

    Abstract: 本说明书一个或多个实施例涉及一种基于Adam优化算法的多方联合训练方法及系统。所述方法包括:基于各个数据持有终端的通信状态确定参与模型参数更新的训练成员;服务器通过多方安全计算的方式获取累计数据;所述累计数据由所述训练成员基于自身的训练数据及其对应的模型参数确定;服务器基于所述累计数据以及样本标签参与累计梯度值的计算;所述累计梯度值用于所述训练成员计算自身的一阶矩和二阶矩,并基于所述一阶矩和二阶矩完成模型参数的更新;所述各个数据终端分别持有自身的训练数据以及与所述训练数据对应的模型参数;所述训练数据包括与实体相关的图像数据、文本数据或声音数据。其中,所述训练数据可以包括私有数据。

    样本数据处理方法、装置及多方模型训练系统

    公开(公告)号:CN111401483B

    公开(公告)日:2022-05-17

    申请号:CN202010411914.2

    申请日:2020-05-15

    Abstract: 本发明公开了一种用于多方模型训练的样本数据处理方法及装置。在该方法中,基于样本数据的数据标签,将第一样本数据集分类为第二样本数据集和第三样本数据集,第二样本数据集中的第二样本数据具有唯一数据标签,以及第三样本数据集中的第三样本数据具有至少两个不同的数据标签。使用第二样本数据集进行模型训练,以训练出第一模型。使用第一模型来对各个第一成员节点的本地数据进行数据质量评估。基于各个第一成员节点的数据质量评估结果,对第三样本数据集中的第三样本数据进行标签重构,所述经过标签重构后的第三样本数据具有唯一数据标签。

    基于多方安全计算检验模型特征显著性的方法和装置

    公开(公告)号:CN110889447B

    公开(公告)日:2022-05-17

    申请号:CN201911174424.9

    申请日:2019-11-26

    Abstract: 本说明书实施例提供了一种基于多方安全计算检验线性回归模型的特征显著性的方法和装置,所述方法由多个数据持有方中第一数据持有方的设备执行,多个数据持有方各自的设备中共同存储了N个样本和所述模型的模型参数,所述方法包括:与其它数据持有方的设备联合执行基于秘密分享的矩阵加法和矩阵乘法,获取所述N个样本的误差平方和;与其它数据持有方设备联合执行基于秘密分享的矩阵加法和/或矩阵乘法,获取第一矩阵对角线上第j项的值;计算与第j个t检验值对应的第二数值;与其它数据持有方的设备联合执行基于秘密分享的矩阵加法,获取所述第j个t检验值,以基于所述第j个t检验值确定所述线性回归模型的相应特征的显著性。

Patent Agency Ranking