公开(公告)号：CN115440230A

公开(公告)日：2022-12-06

申请号：CN202211146432.4

申请日：2022-09-20

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 李一鸣 ,  刘焱 ,  翁海琴 ,  江勇 ,  夏树涛

IPC: G10L17/04 ,  G06K9/62

Abstract: 本说明书公开了一种模型的所有权验证方法、装置、存储介质及电子设备，所述方法包括：获取认证系统中未保存特征的数据作为第一测试数据，根据调整原始样本的方式调整所述第一测试数据得到第二测试数据，所述原始样本和调整后样本用于训练受害者模型，将第一、第二测试数据分别输入待验证模型，得到第一、第二测试数据的特征与认证系统已保存的特征的相似度，通过比较两个相似度判断待验证模型是否是基于受害者模型得到的。从上述方法可以看出，只需确定该认证系统中未保存特征的数据后按本方法执行就可以对待验证模型的所有权进行验证，快捷准确，且对于认证类模型的所有权验证具有普适性，利于保护隐私。

公开(公告)号：CN114003511A

公开(公告)日：2022-02-01

申请号：CN202111600136.2

申请日：2021-12-24

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 李一鸣 ,  邱伟峰 ,  薛峰 ,  江勇 ,  夏树涛

IPC: G06F11/36 ,  G06V10/776 ,  G06K9/62 ,  G06N20/00

Abstract: 本说明书实施例提供了一种针对模型解释工具的评测方法和装置。该方法的一具体实施方式包括：确定针对预先训练的带有后门的目标模型的潜在触发器，其中，目标模型针对携带有后门触发器的样本数据的输出为目标标签，潜在触发器具有使目标模型输出目标标签的功能；响应于确定潜在触发器和后门触发器满足预设条件，确定目标模型为评测用模型；基于评测用模型和预设的评测用样本数据，使用待评测的模型解释工具生成显著性信息，其中，评测用样本数据中添加有后门触发器，显著性信息用于显示测评用样本数据的各部分对评测用模型输出的影响；根据显著性信息和后门触发器，确定评测指标，其中，评测指标用于对模型解释工具进行评测。

公开(公告)号：CN114003511B

公开(公告)日：2022-04-15

申请号：CN202111600136.2

申请日：2021-12-24

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 李一鸣 ,  邱伟峰 ,  薛峰 ,  江勇 ,  夏树涛

IPC: G06F11/36 ,  G06V10/776 ,  G06K9/62 ,  G06N20/00

Abstract: 本说明书实施例提供了一种针对模型解释工具的评测方法和装置。该方法的一具体实施方式包括：确定针对预先训练的带有后门的目标模型的潜在触发器，其中，目标模型针对携带有后门触发器的样本数据的输出为目标标签，潜在触发器具有使目标模型输出目标标签的功能；响应于确定潜在触发器和后门触发器满足预设条件，确定目标模型为评测用模型；基于评测用模型和预设的评测用样本数据，使用待评测的模型解释工具生成显著性信息，其中，评测用样本数据中添加有后门触发器，显著性信息用于显示测评用样本数据的各部分对评测用模型输出的影响；根据显著性信息和后门触发器，确定评测指标，其中，评测指标用于对模型解释工具进行评测。