公开(公告)号：CN110874471B

公开(公告)日：2021-02-23

申请号：CN201911137260.2

申请日：2019-11-19

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 翁海琴

IPC: G06F21/55 ,  G06F21/62 ,  G06N3/04 ,  G06N3/063 ,  G06N3/08

Abstract: 本说明书实施例提供一种保护隐私安全的神经网络模型的训练方法和装置，方法包括：获取初步训练的目标神经网络模型和训练数据集，所述目标神经网络模型包括多个中间层，所述训练数据集包括第一数量个成员样本；确定所述多个中间层中的决策重要层和决策无关层，所述决策重要层对决策结果的影响程度大于所述决策无关层对决策结果的影响程度；根据所述训练数据集中的各成员样本，对所述目标神经网络模型进行再次训练，所述再次训练固定所述目标神经网络模型的决策无关层的参数，使决策重要层的部分神经元以一定概率停止工作调整决策重要层的参数。能够防止攻击者探测到神经网络模型的训练数据。

公开(公告)号：CN110889117A

公开(公告)日：2020-03-17

申请号：CN201911193975.X

申请日：2019-11-28

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 翁海琴 ,  薛峰 ,  宗志远

IPC: G06F21/56 ,  G06F21/62

Abstract: 本说明书提供一种模型攻击的防御方法及装置。所述方法包括：当集成模型被调用时，获取所述集成模型中各个子模型输出的子预测结果；判断所述调用是否符合攻击调用；若所述调用符合攻击调用，则采用预设的防御输出策略，基于所述各个子模型输出的子预测结果确定出所述集成模型的预测结果并输出。上述方案可有效防御成员推测攻击、对抗样本攻击等模型攻击，避免用户隐私泄露，保护用户个人数据的安全。