防止隐私数据泄漏的编码模型训练方法及装置

    公开(公告)号:CN111046422B

    公开(公告)日:2021-03-12

    申请号:CN201911252327.7

    申请日:2019-12-09

    Inventor: 石磊磊 熊涛

    Abstract: 本说明书实施例提供一种编码模型训练方法,该方法包括:首先,获取多个训练样本,其中每个训练样本包括表征对应目标对象身份信息的隐私数据和对象标识;然后,将多个训练样本分别输入编码模型中,得到多个特征向量;接着,将多个特征向量分别输入用于确定目标对象身份的分类模型、用于反推隐私数据的解码模型和用于区分不同目标对象的区分模型,以对应确定分类损失、解码损失和区分损失;再然后,以最大化分类损失和解码损失,以及最小化区分损失为目标,对编码模型调参。此外,还披露一种目标对象身份识别方法,利用训练好的编码模型对采集的隐私数据进行编码,并对得到的特征向量进行传输、存储和比对使用。如此,可以有效防止隐私数据的泄漏。

    基于隐私保护训练图神经网络的方法及装置

    公开(公告)号:CN112464292A

    公开(公告)日:2021-03-09

    申请号:CN202110109491.3

    申请日:2021-01-27

    Inventor: 熊涛

    Abstract: 本说明书实施例提供一种基于隐私保护训练图神经网络的方法和装置,该方法包括,首先获取原始关系网络图,图中任意的第一节点具有对应的邻居节点集。对于该邻居节点集中任意的第二节点,将该第二节点的节点信息,第一节点的节点信息,第二节点与第一节点的连接信息输入多层神经网络,得到该第二节点与第一节点的匹配度。然后,根据邻居节点集中各个邻居节点分别对应的匹配度,对该邻居节点集进行采样,得到第一节点的采样邻居节点集。接着,基于原图中各个节点各自对应的采样邻居节点集,形成稀疏关系网络图。于是,基于该稀疏关系网络图,训练图神经网络。

    基于差分隐私的异常检测模型的训练方法及装置

    公开(公告)号:CN111539769A

    公开(公告)日:2020-08-14

    申请号:CN202010343419.2

    申请日:2020-04-27

    Inventor: 熊涛

    Abstract: 本说明书实施例提供一种基于差分隐私的异常检测模型的训练方法,包括:将训练集中任意样本的第一向量输入自编码网络,通过编码器输出降维的第二向量,通过解码器输出复原的第三向量。然后,基于第二向量构建评估向量,输入到评估网络,并获取评估网络输出的该样本属于混合高斯分布中K个子高斯分布的子分布概率。然后,根据训练集中各样本对应的评估向量和子分布概率,得到该任意样本在混合高斯分布中的第一概率。据此确定预测损失,其与各样本对应的第一概率负相关,且与第一向量和第三向量之间的相似度负相关。进而,利用差分隐私的方式,在基于预测损失得到的原始梯度上添加噪声,利用包含噪声的梯度,调整异常检测模型的模型参数。

    一种基于对抗学习的模型训练、图片输出方法及装置

    公开(公告)号:CN111160357B

    公开(公告)日:2020-06-30

    申请号:CN202010254884.9

    申请日:2020-04-02

    Inventor: 刘杰 石磊磊 熊涛

    Abstract: 公开了一种基于对抗学习的模型训练、图片输出方法及装置。基于对抗学习的思想,训练图片修改模型,使得经过图片修改模型修改后的图片既和原图片足够相似(如此,修改后的图片尽可能少的修饰原图片的信息,尤其是原图片包含的文字内容),又可以使得OCR模型从修改后的图片中提取出的文字内容与原始图片中的文字内容差别较大。如此,对于经过图片修改模型修改后的图片,一方面不会影响图片的正常使用,另一方面又对OCR模型文字识别的结果造成很大的干扰,保护图片中的文字内容隐私。

    基于隐私保护确定目标业务模型的方法及装置

    公开(公告)号:CN111177792A

    公开(公告)日:2020-05-19

    申请号:CN202010276685.8

    申请日:2020-04-10

    Inventor: 熊涛

    Abstract: 本说明书实施例提供一种基于隐私保护确定目标业务模型的方法和装置,先对选定的复杂业务模型进行初始训练,得到初始业务模型,然后对初始业务模型进行修剪,并对修剪后的业务模型在参数重置回初始化状态的情形下进行训练,以考验修剪掉的模型参数是否自始不重要。对于得到的多个子模型,通过差分隐私的方式,从中选择目标业务模型。这样,可以获取隐私保护的压缩模型,在实现模型压缩的基础上,为模型提供隐私保护。

    基于差分隐私的联邦学习方法、装置及电子设备

    公开(公告)号:CN115081640B

    公开(公告)日:2024-10-18

    申请号:CN202210636831.2

    申请日:2020-12-06

    Inventor: 熊涛 吴若凡 漆远

    Abstract: 本说明书实施例提供一种基于差分隐私的联邦学习方法及装置、电子设备,该方法应用于任一终端设备,包括多次迭代,每次迭代包括:基于训练数据和当前本地参数,确定待处理的第一梯度向量,对第一梯度向量进行多级量化处理,得到第二梯度向量,在第二梯度向量的向量空间中,基于第二梯度向量,生成第一向量集合和第二向量集合,进行满足差分隐私的采样,以从第一向量集合或第二向量集合中随机采样出第三梯度向量。对第三梯度向量进行归一化,得到目标梯度向量,并向服务器上传目标梯度向量。能够提高联邦学习过程中的通讯效率,从而提高了联邦学习的效率。

    识别可疑关系的方法以及装置

    公开(公告)号:CN111552846B

    公开(公告)日:2023-09-08

    申请号:CN202010352308.8

    申请日:2020-04-28

    Abstract: 本说明书实施例提供识别可疑关系的方法以及装置,其中所述方法包括:对关系网络进行社区检测,得到多个社区子图,其中,所述关系网络是根据网络平台上各方之间的关系数据构建的;通过将所述多个社区子图与可疑关系知识库中的各个已知可疑关系网络进行关联度计算,为所述多个社区子图分别设置关联的已知可疑关系网络的关系分类标签;抽取出所述多个社区子图各自的关系特征;通过将所述多个社区子图各自的关系特征以及各自的关系分类标签作为输入进行监督学习,得到所述多个社区子图各自的关系特征的权重;依据所述多个社区子图各自的关系特征的权重,确定对应关系分类标签下的可疑关系。

    基于隐私保护的联合训练业务模型的方法及装置

    公开(公告)号:CN112541593B

    公开(公告)日:2022-05-17

    申请号:CN202011409592.4

    申请日:2020-12-06

    Inventor: 熊涛 冯岩

    Abstract: 本说明书实施例提供一种基于隐私保护的联合训练业务模型的方法和装置,根据该方法,服务器针对实现业务模型的神经网络中的各个网络层,确定扰动矩阵,并用其对网络层的参数进行扰动加密,得到扰动加密模型,分发给各个终端。终端利用扰动加密的模型处理其本地训练样本,得到扰动梯度。并且,终端还在扰动梯度上叠加噪声。通过精心设计噪声的分布,使得经扰动矩阵进行恢复后得到的噪声符合高斯分布,从而满足差分隐私的要求。于是,服务器可以对各个终端发送的含躁梯度进行扰动恢复并聚合,从而更新神经网络模型中的参数。

    基于差分隐私的联邦学习方法、装置及电子设备

    公开(公告)号:CN112541592B

    公开(公告)日:2022-05-17

    申请号:CN202011409580.1

    申请日:2020-12-06

    Inventor: 熊涛 吴若凡 漆远

    Abstract: 本说明书实施例提供一种基于差分隐私的联邦学习方法及装置、电子设备,该方法应用于任一终端设备,包括多次迭代,每次迭代包括:基于训练数据和当前本地参数,确定待处理的第一梯度向量,该第一梯度向量的欧式范数小于等于预设范数,对第一梯度向量进行多级量化处理,得到第二梯度向量,在第二梯度向量的向量空间中,基于第二梯度向量,生成第一向量集合和第二向量集合,进行满足差分隐私的采样,以从第一向量集合或第二向量集合中随机采样出第三梯度向量。对第三梯度向量进行归一化,得到目标梯度向量,并向服务器上传目标梯度向量。能够提高联邦学习过程中的通讯效率,从而提高了联邦学习的效率。

    基于隐私保护训练图神经网络的方法及装置

    公开(公告)号:CN112464292B

    公开(公告)日:2021-08-20

    申请号:CN202110109491.3

    申请日:2021-01-27

    Inventor: 熊涛

    Abstract: 本说明书实施例提供一种基于隐私保护训练图神经网络的方法和装置,该方法包括,首先获取原始关系网络图,图中任意的第一节点具有对应的邻居节点集。对于该邻居节点集中任意的第二节点,将该第二节点的节点信息,第一节点的节点信息,第二节点与第一节点的连接信息输入多层神经网络,得到该第二节点与第一节点的匹配度。然后,根据邻居节点集中各个邻居节点分别对应的匹配度,对该邻居节点集进行采样,得到第一节点的采样邻居节点集。接着,基于原图中各个节点各自对应的采样邻居节点集,形成稀疏关系网络图。于是,基于该稀疏关系网络图,训练图神经网络。

Patent Agency Ranking