一种复合样本场景中的多方联合模型训练方法及装置

    公开(公告)号:CN114638376A

    公开(公告)日:2022-06-17

    申请号:CN202210302971.6

    申请日:2022-03-25

    Abstract: 本说明书实施例提供了一种复合样本场景中的多方联合模型训练方法及装置。若干个第一类设备拥有水平切分数据,若干个第二类设备拥有垂直切分数据。服务器针对任一个第一类设备,将该第一类设备和所有第二类设备中匹配的样本标识对应的样本作为一个训练单元中的样本,并确定该训练单元的样本信息,将其发送至所有第二类设备。第二类设备基于多个训练单元的样本信息,将自身的全部样本拆分成与多个训练单元分别对应的样本组。服务器从多个训练单元中确定待训练的训练单元,向该训练单元关联的设备发送训练通知。该训练单元关联的设备基于各自拥有的样本中分别属于该训练单元的样本组,对网络模型进行联合训练,训练过程保护了各方样本的隐私数据。

    联合更新模型的方法、装置及系统

    公开(公告)号:CN113360514B

    公开(公告)日:2022-05-17

    申请号:CN202110753197.6

    申请日:2021-07-02

    Abstract: 本说明书实施例提供一种联合更新模型的方法、装置及系统,在当前同步周期,各个数据方在利用本地训练样本在本地更新完模型对应的待同步参数后,可以利用本地当前的带宽,以及服务方针对单个同步周期的最大等待时长,确定在当前同步周期需向服务器上传的待同步参数数量。之后,可以根据需向服务器上传的待同步参数数量从待同步参数集中选择相应的待同步参数上传至服务方。服务方在最大等待时长到达时,将各个数据方分别发送的若干待同步参数进行聚合,形成同步参数集,反馈给各个数据方用于当前同步周期的数据同步。这种实施方式可以避免通信阻塞,提高训练效率。

    一种对业务预测模型进行多方联合训练的方法及装置

    公开(公告)号:CN114330673A

    公开(公告)日:2022-04-12

    申请号:CN202210250437.5

    申请日:2022-03-15

    Abstract: 本说明书实施例提供了一种对业务预测模型进行多方联合训练的方法及装置。其中,第一设备和第二设备分别拥有完整模型中的第一部分模型和第二部分模型。第一设备利用第一输入数据确定第一部分模型的第一输出数据,并将其发送至第二设备,接着,基于第一输出数据确定用于对第一部分模型进行更新的第一梯度分片。第二设备利用第一设备发送的第一输出数据确定第二部分模型的第二输出数据。然后,第二设备基于第二输出数据和第一输出数据,确定用于对第一部分模型进行更新的第二梯度分片,并将其发送至第一设备。这样,第一设备可以利用第一梯度分片和第二梯度分片,对第一部分模型进行更新。在该过程中,多个设备并不将各自的隐私数据向外发送。

    一种模型训练的方法、系统及装置

    公开(公告)号:CN113379039A

    公开(公告)日:2021-09-10

    申请号:CN202110752427.7

    申请日:2021-07-02

    Abstract: 本说明书涉及一种模型的训练方法、系统及装置,可用于机器学习过程中的隐私数据保护,所述方法由参与方中的任一训练成员实现,包括:基于自身持有的训练样本进行模型训练,获得模型数据列表;从模型数据列表中的一个或多个卷积核对应的子矩阵中选取若干子矩阵,并确定所选子矩阵在模型数据列表中的第一位置信息;从模型数据列表中除卷积核对应的子矩阵以外的元素中选取若干非卷积核元素,并确定反映选取的非卷积核元素在模型数据列表中的第二位置信息;确定包括第一位置信息以及第二位置信息的传输数据列表,并将其上传至服务器;获取服务器下发的模型数据更新列表,并基于模型数据更新列表进行本地模型更新。

    联合更新业务模型的方法及装置

    公开(公告)号:CN113052329A

    公开(公告)日:2021-06-29

    申请号:CN202110390904.X

    申请日:2021-04-12

    Abstract: 本说明书实施例提供一种基于隐私保护的联合更新业务模型的方法及装置,其中,在一次迭代过程中,服务方向各个数据方提供全局模型参数,以及各个数据方各自与全局模型参数划分的N个参数组的对应关系,由各个数据方各自利用全局模型参数更新本地业务模型,并基于本地业务数据对更新后的本地业务模型进一步更新,以将新的业务模型中各自所对应参数组的模型参数上传至服务方,进而由服务方依次对接收到的各个参数组进行融合,更新全局模型参数。该过程可以减少数据方与服务方的通信压力,避免造成通信阻塞,有利于提高联邦学习的整体训练效率。

    一种模型训练方法、系统及装置

    公开(公告)号:CN113033823A

    公开(公告)日:2021-06-25

    申请号:CN202110424366.1

    申请日:2021-04-20

    Abstract: 本说明书涉及一种模型训练方法、系统和装置,能够用于数据隐私保护。该方法包括,各训练成员将自身持有的训练样本的特征数据输入至模型的第一部分,得到初始输出矩阵;接收标签预测值,基于训练样本的标签值以及所述标签预测值确定损失函数值;将所述损失函数值传输给所述服务器,以便服务器基于所述损失函数值在模型的第二部分中反向传播梯度,直到获取输出梯度矩阵;基于所述损失函数相对模型的第一部分中各层的输出数据的梯度,继续反向传播梯度,以对模型的第一部分的模型参数进行更新;基于更新后的模型的第一部分进行下一轮迭代更新,或者基于此确定最终模型的第一部分。

    一种基于联邦学习进行模型参数更新的方法、系统及装置

    公开(公告)号:CN112396191B

    公开(公告)日:2021-05-11

    申请号:CN202011593534.1

    申请日:2020-12-29

    Abstract: 本说明书涉及一种基于联邦学习进行模型参数更新的方法、系统及装置,能够用于数据隐私保护。所述方法由参与方中任一训练成员实现,包括对模型参数进行多轮更新,其中一轮迭代更新包括:获取与其他参与方具有相同结构的待训练模型,待训练模型包括多个网络层;基于持有的训练样本及样本标签进行训练,获得梯度矩阵;基于梯度矩阵更新一阶矩矩阵和二阶矩矩阵,其中,一阶矩矩阵和二阶矩矩阵分别包括与待训练模型网络层一一对应的多个层子矩阵;与服务器交互,逐层传输至少部分层子矩阵中的至少部分元素给所述服务器,以便服务器逐层更新模型参数;从所述服务器获取更新后的模型参数以将其作为待训练模型进行下一次训练,或者基于此确定最终模型。

    保护数据隐私的多方联合进行业务对象预测的方法及装置

    公开(公告)号:CN112148801A

    公开(公告)日:2020-12-29

    申请号:CN202011332527.6

    申请日:2020-11-24

    Abstract: 本说明书实施例提供一种保护数据隐私的多方联合进行业务对象预测的方法,该方法应用于数据持有方,且包括:先利用哈希算法计算本地存储的对象样本对应的样本哈希,并记录在区块链中;再将对象样本加密发送至可信第三方,以使其在计算并查询出该样本哈希被记录在区块链中时,向数据使用方发送利用数据持有方的第一公钥加密对象样本而得到的加密样本;接着,从数据使用方接收双加密预测结果,其基于数据使用方本地部署的业务预测模型和加密样本进行同态运算,得到第一加密预测结果后,利用第二公钥对其进行加密而得到;再利用第一私钥解密双加密预测结果,得到第二加密预测结果,以使数据使用方利用第二私钥对其进行解密,得到预测结果明文。

Patent Agency Ranking