一种模型攻击的防御方法及装置

    公开(公告)号:CN110889117A

    公开(公告)日:2020-03-17

    申请号:CN201911193975.X

    申请日:2019-11-28

    Abstract: 本说明书提供一种模型攻击的防御方法及装置。所述方法包括:当集成模型被调用时,获取所述集成模型中各个子模型输出的子预测结果;判断所述调用是否符合攻击调用;若所述调用符合攻击调用,则采用预设的防御输出策略,基于所述各个子模型输出的子预测结果确定出所述集成模型的预测结果并输出。上述方案可有效防御成员推测攻击、对抗样本攻击等模型攻击,避免用户隐私泄露,保护用户个人数据的安全。

    一种模型攻击的防御方法及装置

    公开(公告)号:CN110889117B

    公开(公告)日:2022-04-19

    申请号:CN201911193975.X

    申请日:2019-11-28

    Abstract: 本说明书提供一种模型攻击的防御方法及装置。所述方法包括:当集成模型被调用时,获取所述集成模型中各个子模型输出的子预测结果;判断所述调用是否符合攻击调用;若所述调用符合攻击调用,则采用预设的防御输出策略,基于所述各个子模型输出的子预测结果确定出所述集成模型的预测结果并输出。上述方案可有效防御成员推测攻击、对抗样本攻击等模型攻击,避免用户隐私泄露,保护用户个人数据的安全。

    针对模型解释工具的评测方法和装置

    公开(公告)号:CN114003511A

    公开(公告)日:2022-02-01

    申请号:CN202111600136.2

    申请日:2021-12-24

    Abstract: 本说明书实施例提供了一种针对模型解释工具的评测方法和装置。该方法的一具体实施方式包括:确定针对预先训练的带有后门的目标模型的潜在触发器,其中,目标模型针对携带有后门触发器的样本数据的输出为目标标签,潜在触发器具有使目标模型输出目标标签的功能;响应于确定潜在触发器和后门触发器满足预设条件,确定目标模型为评测用模型;基于评测用模型和预设的评测用样本数据,使用待评测的模型解释工具生成显著性信息,其中,评测用样本数据中添加有后门触发器,显著性信息用于显示测评用样本数据的各部分对评测用模型输出的影响;根据显著性信息和后门触发器,确定评测指标,其中,评测指标用于对模型解释工具进行评测。

    隐私数据处理方法、装置和终端设备

    公开(公告)号:CN111143873A

    公开(公告)日:2020-05-12

    申请号:CN201911281580.5

    申请日:2019-12-13

    Inventor: 翁海琴 薛峰

    Abstract: 本说明书提供隐私数据处理方法、装置和终端设备的实施例。所述方法包括:截获传感器采集的隐私数据;在所述隐私数据中添加扰动数据,得到对抗样本;将所述对抗样本提供给调用所述传感器的应用程序。本说明书实施例的隐私数据处理方法、装置和终端设备,可以在传感器的层面,通过对抗样本阻止应用程序滥用用户的隐私数据,使得用户的隐私数据得到保护。

    一种模型盗用的检测、模型的训练方法和装置

    公开(公告)号:CN111046957A

    公开(公告)日:2020-04-21

    申请号:CN201911286364.X

    申请日:2019-12-13

    Inventor: 翁海琴 薛峰

    Abstract: 说明书披露一种模型盗用的检测、模型的训练方法和装置。一种模型盗用的检测方法,包括:获取目标分类模型的若干对抗样本,所述对抗样本来自所述目标分类模型样本集的第一真子集,所述对抗样本基于所述目标分类模型样本集的第二真子集中的样本生成;将各对抗样本输入待检测分类模型,得到对应的分类结果;对匹配所述对抗样本分类标签的分类结果进行统计;判断统计结果是否符合盗用条件,若是,则确定所述待检测分类模型盗用所述目标分类模型。上述方案可使用对抗样本检测是否有其他模型盗用所述目标分类模型,从而实现目标分类模型私有数据的盗用检测。

    针对模型解释工具的评测方法和装置

    公开(公告)号:CN114003511B

    公开(公告)日:2022-04-15

    申请号:CN202111600136.2

    申请日:2021-12-24

    Abstract: 本说明书实施例提供了一种针对模型解释工具的评测方法和装置。该方法的一具体实施方式包括:确定针对预先训练的带有后门的目标模型的潜在触发器,其中,目标模型针对携带有后门触发器的样本数据的输出为目标标签,潜在触发器具有使目标模型输出目标标签的功能;响应于确定潜在触发器和后门触发器满足预设条件,确定目标模型为评测用模型;基于评测用模型和预设的评测用样本数据,使用待评测的模型解释工具生成显著性信息,其中,评测用样本数据中添加有后门触发器,显著性信息用于显示测评用样本数据的各部分对评测用模型输出的影响;根据显著性信息和后门触发器,确定评测指标,其中,评测指标用于对模型解释工具进行评测。

    基于图灵测试的活体检测的方法和装置

    公开(公告)号:CN113821781A

    公开(公告)日:2021-12-21

    申请号:CN202111358401.0

    申请日:2021-11-17

    Inventor: 薛峰 韦韬

    Abstract: 本说明书实施例提供了一种基于图灵测试的活体检测的方法和装置。该方法的一具体实施方式包括:从预设的图灵测试题目集合中选取目标图灵测试题目发送给客户端,其中,上述目标图灵测试题目用于提示上述客户端的操作主体通过执行肢体动作回应测试问题;接收上述客户端针对上述目标图灵测试题目反馈的执行结果数据,该执行结果数据包括,上述操作主体执行肢体动作的视频数据;基于上述执行结果数据,确定上述操作主体是否通过目标图灵测试题目的目标测试结果;上述目标测试结果用于确定针对上述操作主体的活体检测结果。

    一种模型盗用的检测、模型的训练方法和装置

    公开(公告)号:CN111046957B

    公开(公告)日:2021-03-16

    申请号:CN201911286364.X

    申请日:2019-12-13

    Inventor: 翁海琴 薛峰

    Abstract: 说明书披露一种模型盗用的检测、模型的训练方法和装置。一种模型盗用的检测方法,包括:获取目标分类模型的若干对抗样本,所述对抗样本来自所述目标分类模型样本集的第一真子集,所述对抗样本基于所述目标分类模型样本集的第二真子集中的样本生成;将各对抗样本输入待检测分类模型,得到对应的分类结果;对匹配所述对抗样本分类标签的分类结果进行统计;判断统计结果是否符合盗用条件,若是,则确定所述待检测分类模型盗用所述目标分类模型。上述方案可使用对抗样本检测是否有其他模型盗用所述目标分类模型,从而实现目标分类模型私有数据的盗用检测。

Patent Agency Ranking