一种智能模型信息泄漏程度评估方法、系统、介质、设备

    公开(公告)号:CN112269987B

    公开(公告)日:2023-01-24

    申请号:CN202011030537.4

    申请日:2020-09-27

    Abstract: 本发明属于网络安全技术领域,公开了一种智能模型信息泄漏程度评估方法、系统、介质、设备,定义代表特定数据集中包含的信息量的指标;利用信息论中的链式法则将指标展开后计算;定义查询向量拼接收到的攻击查询和模型回复;将向量添加到查询矩阵;计算单次查询从训练数据集窃取到的信息量;计算模型信息泄漏程度。本发明设计了一种用于评估模型信息量泄漏程度的计算方法,能够实时准确地计算出当前模型遭受攻击时的信息泄漏程度。同时也可用于两类数据集之间共同信息量的评估。本发明定义了用于评估模型信息量泄漏程度的指标,该指标不受待评定模型种类、复杂度和信息泄漏方式的影响,能够应用于所有智能模型和数据集。

    一种智能模型信息泄漏程度评估方法、系统、介质、设备

    公开(公告)号:CN112269987A

    公开(公告)日:2021-01-26

    申请号:CN202011030537.4

    申请日:2020-09-27

    Abstract: 本发明属于网络安全技术领域,公开了一种智能模型信息泄漏程度评估方法、系统、介质、设备,定义代表特定数据集中包含的信息量的指标;利用信息论中的链式法则将指标展开后计算;定义查询向量拼接收到的攻击查询和模型回复;将向量添加到查询矩阵;计算单次查询从训练数据集窃取到的信息量;计算模型信息泄漏程度。本发明设计了一种用于评估模型信息量泄漏程度的计算方法,能够实时准确地计算出当前模型遭受攻击时的信息泄漏程度。同时也可用于两类数据集之间共同信息量的评估。本发明定义了用于评估模型信息量泄漏程度的指标,该指标不受待评定模型种类、复杂度和信息泄漏方式的影响,能够应用于所有智能模型和数据集。

    模型提取攻击的动态防御方法、系统、介质、设备及应用

    公开(公告)号:CN112269988A

    公开(公告)日:2021-01-26

    申请号:CN202011030540.6

    申请日:2020-09-27

    Abstract: 本发明属于网络安全技术领域,公开了一种模型提取攻击的动态防御方法、系统、介质、设备及应用,使用MLaaS,在线上部署待保护的智能模型;引入差分隐私技术,设定隐私预算,应用到模型中;模型收到请求后,生成正常应答,同时设定模型信息泄漏程度;使用差分隐私技术生成噪声来扰动模型应答,生成带噪回复;监听模型收到的请求和给出的带噪回复,与训练数据集对比计算得出模型因接收到该次请求后导致的信息泄漏程度;计算模型信息泄漏程度计值;将信息泄漏程度代入隐私预算的适应性分配算法;将计算得到的新隐私预算输入给差分隐私技术。本发明能够根据模型信息泄漏程度自适应地调整所加噪声大小,保证模型安全性的同时提升了模型的性能。

    模型提取攻击的动态防御方法、系统、介质、设备及应用

    公开(公告)号:CN112269988B

    公开(公告)日:2022-10-04

    申请号:CN202011030540.6

    申请日:2020-09-27

    Abstract: 本发明属于网络安全技术领域,公开了一种模型提取攻击的动态防御方法、系统、介质、设备及应用,使用MLaaS,在线上部署待保护的智能模型;引入差分隐私技术,设定隐私预算,应用到模型中;模型收到请求后,生成正常应答,同时设定模型信息泄漏程度;使用差分隐私技术生成噪声来扰动模型应答,生成带噪回复;监听模型收到的请求和给出的带噪回复,与训练数据集对比计算得出模型因接收到该次请求后导致的信息泄漏程度;计算模型信息泄漏程度计值;将信息泄漏程度代入隐私预算的适应性分配算法;将计算得到的新隐私预算输入给差分隐私技术。本发明能够根据模型信息泄漏程度自适应地调整所加噪声大小,保证模型安全性的同时提升了模型的性能。

Patent Agency Ranking