基于多方安全计算的机器学习模型训练及预测方法、装置

    公开(公告)号:CN111061963B

    公开(公告)日:2021-05-11

    申请号:CN201911194334.6

    申请日:2019-11-28

    Inventor: 陈超超 王力 周俊

    Abstract: 本说明书实施例提供基于多方安全计算的非线性机器学习模型训练方法、模型预测方法及装置。非线性机器学习模型被分解为多个子模型,每个子模型部署在对应训练参与方处。在每次循环时,将非线性机器学习模型的模型计算分割为至少一个第一模型计算和至少一个第二模型计算。针对各个第一模型计算,经由各个训练参与方使用对应模型参数以及训练样本数据或者在前第二模型计算的计算结果来进行多方安全计算。针对各个第二模型计算,使用在前第一模型计算的计算结果来在可信计算设备的可信执行环境中进行可信计算。在循环未结束时,根据预测差值调整各个训练参与方的子模型。利用该方法,能够在确保隐私数据安全的情况下提高模型训练效率。

    保护隐私的联合数据处理方法及装置

    公开(公告)号:CN112487489B

    公开(公告)日:2021-04-27

    申请号:CN202110160210.7

    申请日:2021-02-05

    Inventor: 陈超超

    Abstract: 本说明书实施例提供一种保护隐私的联合数据处理方法及装置,在联合数据处理方法中,确定第一节点的第一组邻居节点。基于第一组邻居节点的k‑1阶向量的第一分片,和其它n‑1个平台确定的其它n‑1组邻居节点的k‑1阶向量的对应分片,采用第一多方安全计算MPC方法进行聚合运算,得到第一节点的n组邻居节点的k‑1阶向量的聚合结果的第一结果分片。将第一节点的k‑1阶向量的第一分片与第一结果分片进行整合,得到对应于第一平台的第一整合结果。基于第一整合结果以及第一平台拥有的第k阶权重矩阵,以及其它n‑1个平台获取的其它整合结果和拥有的第k阶权重矩阵,采用第二MPC方法进行乘法运算,得到第一节点的k阶向量的第一分片。

    基于数据隐私保护的机器学习模型特征筛选方法及装置

    公开(公告)号:CN111062487B

    公开(公告)日:2021-04-20

    申请号:CN201911195304.7

    申请日:2019-11-28

    Inventor: 陈超超 王力 周俊

    Abstract: 本说明书实施例提供用于基于数据隐私保护的机器学习模型特征筛选的方法。机器学习模型具有模型特征集,并且机器学习模型的特征数据被垂直切分地分布在第一数据拥有方和至少一个第二数据拥有方处,每个数据拥有方具有与模型特征集的模型特征子集对应的特征数据。第一数据拥有方具有待筛选模型特征的特征数据,第二数据拥有方不具有待筛选模型特征的特征数据。第一数据拥有方和至少一个第二数据拥有方协同来使用各自的特征数据进行多方安全计算,以训练出待筛选模型特征的预测模型。在第一数据拥有方处,基于待筛选模型特征的预测差值确定待筛选模型特征的方差膨胀因子,以进行模型特征筛选处理。

    一种由用户终端执行的推送模型优化方法和装置

    公开(公告)号:CN110766166B

    公开(公告)日:2021-03-23

    申请号:CN201911014064.6

    申请日:2019-10-23

    Inventor: 陈超超 王力 周俊

    Abstract: 本说明书实施例提供了一种由用户终端执行的推送模型优化方法,所述终端与第一用户相对应,所述终端本地包括当前的推送模型,所述推送模型基于矩阵分解方法进行预测,所述方法包括:从本地获取第一用户针对第一对象的评分;基于所述评分、所述第一用户的当前嵌入向量和所述第一对象的当前嵌入向量,计算用于优化所述第一对象的嵌入向量的第一梯度向量;确定所述第一用户的当前的预定数目的邻居用户;将所述第一梯度向量分别发送给所述预定数目的邻居用户各自的终端,以使得每个邻居用户的终端基于所述第一梯度向量分别优化其本地的第一对象的嵌入向量。

    数据过滤方法、装置及系统

    公开(公告)号:CN112380404A

    公开(公告)日:2021-02-19

    申请号:CN202011463415.4

    申请日:2020-12-14

    Abstract: 本说明书的实施例提供一种数据过滤方法、装置及设备。第一和第二成员设备分别具有待过滤的数据样本集中的每条数据样本的分片数据。响应于数据样本过滤请求,第一和第二成员设备执行多方安全计算来确定各条数据样本的过滤标签数据,每个成员设备分别具有过滤标签数据的标签分片数据。随后,第一和第二成员设备使用各自具有的分片数据和标签分片数据,执行两次基于同态加密的不经意过滤处理来得到过滤出的数据样本。在所得到的过滤出的数据样本中,每个成员设备分别具有过滤出的数据样本的两个原始分片数据的一个二次分片数据。每个成员设备组合所具有的二次分片数据得到与原始分片数据不同的新分片数据。

    基于隐私保护更新业务模型的方法、装置及系统

    公开(公告)号:CN112015749B

    公开(公告)日:2021-02-19

    申请号:CN202011159885.1

    申请日:2020-10-27

    Abstract: 本说明书实施例提供一种基于隐私保护更新业务模型的方法,针对联邦学习过程中,各个业务方提供不同结构的图数据(异构图),无法统一建模的问题,提出一种模型参数局部相一致的技术构思,通过模型基的设置,一个模型基包括若干基准参数,各个业务方利用模型基的线性组合构建本地模型参数向量或矩阵,从而构建本地业务模型。在联邦学习过程中,业务方上传本地梯度、服务方更新全局梯度、业务方更新本地模型参数,均以模型基为单元。这种局部更新模型参数的技术方案,有效打破异构图下的联邦学习壁垒,提供全新的联邦学习思路,并可推广至各种业务模型。

    一种基于联邦学习进行模型参数更新的方法、系统及装置

    公开(公告)号:CN112288100A

    公开(公告)日:2021-01-29

    申请号:CN202011589914.8

    申请日:2020-12-29

    Abstract: 本说明书涉及一种基于联邦学习进行模型参数更新的方法、系统及装置,能够用于数据隐私保护。所述方法由参与方中的任一训练成员实现,所述方法包括对模型参数进行多轮迭代更新,其中一轮迭代更新包括:获取与其他参与方具有相同结构的待训练模型;基于自身持有的训练样本及样本标签进行对所述待训练模型进行训练,获得梯度矩阵;至少基于所述梯度矩阵以及第一超参数计算第一运算值矩阵;基于所述梯度矩阵计算第二运算值矩阵;将所述第一运算值矩阵和第二运算值矩阵上传给所述服务器,以便服务器更新服务器端的待训练模型的模型参数;从所述服务器获取更新后的模型参数以将其作为待训练模型进行下一轮迭代更新,或者基于此确定最终模型。

    一种基于联邦学习进行模型参数更新的方法及系统

    公开(公告)号:CN111931950B

    公开(公告)日:2021-01-26

    申请号:CN202011044286.5

    申请日:2020-09-28

    Abstract: 本说明书一个或多个实施例涉及一种基于联邦学习进行模型参数更新的方法及系统,可用于机器学习过程中的隐私数据保护,所述方法由参与方中的任一训练成员实现;其包括:获取具有与其他参与方相同结构的待训练初始模型;进行多次模型参数迭代更新,每次迭代包括:基于自身持有的训练样本进行模型训练,获得当前次迭代对应的模型数据矩阵;确定当前次迭代对应的传输比例,所述传输比例与迭代次数负相关;基于所述传输比例从所述模型数据矩阵中提取部分参数元素;基于所述部分参数元素生成参数传输矩阵;将所述参数传输矩阵上传给所述服务器;从所述服务器获取更新后的模型参数以基于此进行下一次迭代,或者基于此确定最终模型。

Patent Agency Ranking