一种模型联合训练的方法和系统

    公开(公告)号:CN113689006A

    公开(公告)日:2021-11-23

    申请号:CN202111074304.9

    申请日:2020-04-23

    Abstract: 本说明书实施例公开了一种模型联合训练的方法及系统。所述方法包括:多个联合训练的参与终端分别基于所述终端自身持有的私有数据联合进行模型训练,多个联合训练的参与终端分别使用基于梯度的优化算法生成各自的梯度;所述多个参与终端分别将所述各自的梯度发送给服务器;所述服务器从多个所述梯度中选取可信任梯度,并且根据选取的所述可信任梯度更新所述联合训练模型的参数;所述样本数据为文本数据、语音数据或者图形数据。

    一种模型联合训练的方法和系统

    公开(公告)号:CN113657617A

    公开(公告)日:2021-11-16

    申请号:CN202111077337.9

    申请日:2020-04-23

    Abstract: 本说明书实施例公开了一种模型联合训练的方法及系统。所述方法包括:多个联合训练的参与终端分别基于所述终端自身持有的私有数据联合进行模型训练,多个联合训练的参与终端分别使用基于梯度的优化算法生成各自的梯度;所述多个参与终端分别将所述各自的梯度发送给服务器;所述服务器从多个所述梯度中选取可信任梯度,并且根据选取的所述可信任梯度更新所述联合训练模型的参数;所述样本数据为文本数据、语音数据或者图形数据。

    一种基于隐私数据进行模型训练的方法及系统

    公开(公告)号:CN111125735B

    公开(公告)日:2021-11-02

    申请号:CN201911329590.1

    申请日:2019-12-20

    Inventor: 陈超超 王力 周俊

    Abstract: 本说明书一个或多个实施例涉及一种基于隐私数据进行模型训练的方法及系统。该方法包括:第二终端接收来自第一终端的加密后的第一隐私数据;第一隐私数据由与其对应的特征和模型参数确定;第二终端至少将加密后的第一隐私数据与第二隐私数据的加密数据进行计算,得到加密后的结果;第二隐私数据由与其对应的特征和模型参数确定;第二终端基于所述加密后的结果以及样本标签,得到至少基于所述第一隐私数据和第二隐私数据联合训练的模型的加密损失值;通过第三方将所述加密损失值参与第一解密梯度和第二解密梯度的计算;第一解密梯度和第二解密梯度分别与第一隐私数据和第二隐私数据对应,第一解密梯度和第二解密梯度用于更新联合训练的模型。

    一种图像处理模型的训练方法和系统

    公开(公告)号:CN113378982A

    公开(公告)日:2021-09-10

    申请号:CN202110752725.6

    申请日:2021-07-02

    Abstract: 本说明书实施例公开了一种图像处理模型的训练方法和系统。其中,该方法包括:获取第一样本图像及其标签;其中,第一样本图像来自于隐私数据集;获取第一样本图像的多个特征图;基于与多个特征图一一对应的能量系数从第一样本图像的多个特征图中筛选出目标特征图;能量系数通过使用第二样本图像及其标签对第一模型进行训练获得,第二样本图像来自公开数据集;对目标特征图进行脱敏处理,获得用于表征第一样本图像的脱敏图像数据;将脱敏图像数据作为输入特征输入图像处理模型,得到处理结果;调整图像处理模型的参数,以减小处理结果与标签之间的差异。

    业务模型训练方法、装置及系统

    公开(公告)号:CN112288088B

    公开(公告)日:2021-08-20

    申请号:CN202011585759.2

    申请日:2020-12-29

    Inventor: 陈超超 周俊 王力

    Abstract: 本说明书实施例提供用于经由多个成员设备训练业务模型的方法、装置及系统。第一和第二成员设备分别具有第一和第二数据,第一和第二数据按照垂直切分方式组成用于模型训练的训练样本集,并且第一成员设备具有训练样本的标签数据。在每次循环时,各个成员设备协同,使用当前训练样本训练出当前业务模型并得到当前训练样本的模型预测结果。在第一成员设备处根据模型预测结果确定出当前训练样本中的预测误差最大的第一训练样本,并将第一训练样本的样本标识发送给各个第二成员设备。各个成员设备协同来从未使用训练样本中选择出与第一训练样本相似的第二训练样本,作为下一循环过程的当前训练样本。

    一种隐私保护的模型训练方法和系统

    公开(公告)号:CN113011587A

    公开(公告)日:2021-06-22

    申请号:CN202110313679.X

    申请日:2021-03-24

    Abstract: 本说明书涉及机器学习领域,特别涉及一种隐私保护的模型训练方法和系统。该方法包括,基于训练样本和模型的第一部分,得到初始输出矩阵;对所述初始输出矩阵添加扰动噪声,并进行稀疏化,得到扰动输出矩阵;将扰动输出矩阵传输给所述服务器,以便服务器利用模型的第二部分处理所述扰动输出矩阵得到模型预测结果;基于标签数据以及所述预测结果确定损失函数值;将损失函数值传输给服务器,接收服务器返回的输出梯度矩阵;基于输出梯度矩阵计算出模型的第一部分中各模型参数对应的梯度信息;基于所述梯度信息更新模型的第一部分的模型参数;进行下一轮迭代更新,或者基于此确定最终模型的第一部分。

    基于隐私保护的word2vec模型训练方法、装置及系统

    公开(公告)号:CN112507388B

    公开(公告)日:2021-05-25

    申请号:CN202110158847.2

    申请日:2021-02-05

    Inventor: 陈超超 王力 周俊

    Abstract: 本说明书实施例提供用于经由至少两个第一成员设备训练word2vec模型的方法、装置及系统。各个第一成员设备基于所具有的本地语料的语料分词结果生成本地分词词库,使用各自的本地分词词库进行隐私求交确定公共分词,并向其余第一成员设备共享非公共分词数目。随后,各个第一成员设备根据公共分词以及各个第一成员设备的非公共分词数目进行统一分词编号,生成统一字典。然后,各个第一成员设备基于统一字典和本地语料的语料分词结果生成各自的训练样本,并使用各自的训练样本执行基于隐私保护的模型训练来训练出word2vec模型。

    基于隐私保护的多重共线性检测方法、装置及系统

    公开(公告)号:CN112597540A

    公开(公告)日:2021-04-02

    申请号:CN202110115832.8

    申请日:2021-01-28

    Abstract: 本说明书实施例提供基于隐私保护的多重共线性检测方案。该多重共线性检测方案由多个成员设备执行,每个成员设备具有本地特征数据。各个成员设备对各自的本地特征数据执行数据对齐来构建出联合特征矩阵,并且协同来执行基于隐私保护的多方矩阵乘法计算,求出联合特征矩阵与其转置矩阵的乘积矩阵,每个成员设备具有乘积矩阵的乘积矩阵分片。然后,各个成员设备使用各自的乘积矩阵分片联合确定乘积矩阵的逆矩阵,每个成员设备具有逆矩阵的逆矩阵分片。随后,各个成员设备使用各自的逆矩阵分片以及本地特征数据确定样本数据的各个属性特征的方差膨胀因子,每个成员设备具有各个属性特征的方差膨胀因子的分片数据,并根据各自具有的各个属性特征的方差膨胀因子的分片数据来确定多重共线性。

    保护隐私的业务预测模型联合更新方法及装置

    公开(公告)号:CN111800411B

    公开(公告)日:2021-04-02

    申请号:CN202010626342.X

    申请日:2020-07-02

    Inventor: 陈超超 周俊 王力

    Abstract: 本说明书实施例提供一种保护隐私的业务预测模型联合更新方法及装置,在更新方法中,服务器接收若干客户端在基于各自维护的私有样本,在本地训练业务预测模型后发送的加密梯度矩阵。将若干客户端的加密梯度矩阵加载到TEE中,在TEE中对其进行解密,得到若干原始梯度矩阵。对若干原始梯度矩阵中相同位置的矩阵元素进行融合,得到融合矩阵。该融合矩阵用于反映若干原始梯度矩阵中的矩阵元素取值的总体趋势。基于融合矩阵,计算若干原始梯度矩阵各自的离散度。该离散度用于反映各原始梯度矩阵中的矩阵元素取值偏离总体趋势的程度。基于若干原始梯度矩阵各自的离散度,选取各目标矩阵,并基于各目标矩阵,更新服务器维护的业务预测模型的模型参数。

Patent Agency Ranking