一种机器学习中训练数据隐私度量的方法和系统

    公开(公告)号:CN113051620A

    公开(公告)日:2021-06-29

    申请号:CN202110596832.4

    申请日:2021-05-31

    Abstract: 本发明公开了一种机器学习中训练数据隐私度量的方法和系统,属于人工智能领域中的隐私安全领域。本发明针对实际场景下的机器学习模型黑盒接口查询机制,在评估过程中无需模型内部信息,仅计算并利用雅可比矩阵评估模型对数据样本和特征的敏感度,避免了评估过程中的隐私泄露;从基于梯度优化的理论出发,结合模型输出‑输入之间的关系,有效量化了模型中的数据隐私信息泄露的可能性;本发明不依赖单种隐私攻击,对大部分隐私攻击尤其是依赖模型梯度与预测输出的攻击极为有效。本发明在不需了解模型内部信息的条件下即可进行模型隐私泄露风险的评估,在评估过程中保证了模型和训练集的隐私的安全,为人工智能行业的蓬勃发展提供稳定保障。

    一种基于线性核SVM的物联网智能模型的局部解释方法

    公开(公告)号:CN111639688A

    公开(公告)日:2020-09-08

    申请号:CN202010425869.6

    申请日:2020-05-19

    Abstract: 本发明公开了一种基于线性核SVM的物联网智能模型的局部解释方法,属于物联网领域。包括:将待解释的物联网目标样本与扰动样本输入至物联网智能模型得到对应的预测结果;将目标样本与扰动样本及其对应的预测值输入至局部线性核SVM模型进行训练;从训练后的局部SVM模型中提取与目标样本分类相同且与物联网智能模型预测结果一致的支持向量,计算每个特征的重要度;各个特征和对应的重要度构成参考决策集,将其与已知的标准决策集进行匹配,根据匹配结果评价物联网智能模型预测结果的准确度。本发明能够有效解析出物联网智能模型决策所依据的特征,以及各个特征的重要度,将其与标准判据进行比较,能够有效验证模型决策结果的准确度。

Patent Agency Ranking