后门样本的检测方法、装置和电子设备

    公开(公告)号:CN111291901A

    公开(公告)日:2020-06-16

    申请号:CN202010334280.5

    申请日:2020-04-24

    Inventor: 任彦昆

    Abstract: 本说明书实施例提出了一种后门样本的检测方法、装置和电子设备,其中,上述后门样本的检测方法中,获取训练样本中目标类别的样本向量之后,通过预先训练的模型对上述目标类别中的每个样本向量进行分类,获得上述样本向量所属类别最高的概率,然后计算上述概率相对上述样本向量的梯度向量,以及计算上述梯度向量的一范数,接下来,根据上述一范数对目标类别中的样本向量进行聚类,根据聚类结果对上述目标类别中的后门样本进行检测。

    对抗样本生成方法、装置及计算机设备

    公开(公告)号:CN111275106A

    公开(公告)日:2020-06-12

    申请号:CN202010062753.0

    申请日:2020-01-19

    Abstract: 本说明书实施例提供一种对抗样本生成方法、装置及计算机设备。确定图数据样本中目标节点的关联元素,然后根据关联元素对图数据样本进行修改,将修改后的图数据样本输入到目标模型,根据目标模型输出的结果确定表征每个关联元素对于目标模型的干扰大小的干扰参数,然后选取干扰较大的目标元素对图数据进行修改,得到对抗样本。通过模型的前向计算将关联元素的扰动结果准确量化,避免了基于梯度信息计算扰动结果中的连续松弛问题及计算的扰动结果不准确的问题,通过贪心选取的策略为图结数据加入最少的扰动,以生成对抗样本。

    利用对抗生成网络生成对抗样本的方法及装置

    公开(公告)号:CN111241291A

    公开(公告)日:2020-06-05

    申请号:CN202010329630.9

    申请日:2020-04-24

    Inventor: 任彦昆

    Abstract: 本说明书实施例提供一种利用对抗生成网络生成对抗样本的方法,其中对抗生成网络包括:预先训练好的、用于针对业务对象执行N分类任务的分类器,用于生成对应于各类别真实样本的模拟样本的生成器,以及对应于N个类别的N个判别器,其中第i个判别器用于判别输入其中的样本是否属于第i个类别下的真实样本。在该方法中,可以实现对生成器和判别器的训练,进而利用其中训练好的生成器生成具有指定真实类别,但会被上述分类器预测为其他类别的对抗样本,同时,可以实现高效、快捷地生成大批量的优质对抗样本。

    一种后门样本检测方法、系统及装置

    公开(公告)号:CN111222588A

    公开(公告)日:2020-06-02

    申请号:CN202010329693.4

    申请日:2020-04-24

    Inventor: 任彦昆

    Abstract: 本说明书实施例公开了一种后门样本检测方法、系统及装置。所述方法包括:获取多个训练样本,以及基于所述多个训练样本确定的目标模型;其中,所述多个训练样本属于至少两个样本类别;对于任一个样本类别:分别将该样本类别中的各训练样本输入到所述目标模型中,得到所述目标模型对各训练样本的响应数据;基于各训练样本对应的响应数据,确定反映各响应数据整体分布的特征数据;将各训练样本对应的响应数据分别与所述特征数据进行比较,得到多个比较结果;对所述多个比较结果进行分析,确定该样本类别中的训练样本中是否包含后门样本。由此,可以在不需要标注数据的前提下,检测样本是否包含后门样本,防止模型被后门样本污染,提高模型准确率。

    对抗样本生成方法、装置及计算机设备

    公开(公告)号:CN111275106B

    公开(公告)日:2022-07-01

    申请号:CN202010062753.0

    申请日:2020-01-19

    Abstract: 本说明书实施例提供一种对抗样本生成方法、装置及计算机设备。确定图数据样本中目标节点的关联元素,然后根据关联元素对图数据样本进行修改,将修改后的图数据样本输入到目标模型,根据目标模型输出的结果确定表征每个关联元素对于目标模型的干扰大小的干扰参数,然后选取干扰较大的目标元素对图数据进行修改,得到对抗样本。通过模型的前向计算将关联元素的扰动结果准确量化,避免了基于梯度信息计算扰动结果中的连续松弛问题及计算的扰动结果不准确的问题,通过贪心选取的策略为图结数据加入最少的扰动,以生成对抗样本。

    一种实体分类方法、系统、及装置

    公开(公告)号:CN111324749B

    公开(公告)日:2020-08-18

    申请号:CN202010409782.X

    申请日:2020-05-15

    Inventor: 任彦昆

    Abstract: 本说明书实施例提供一种实体分类方法、系统及装置,该方法包括:获取待分类实体以及至少一个候选实体类型;确定至少一个候选实体类型各自对应的第一向量表示;确定与待分类实体相关的第二向量表示和至少一个第三向量表示,第二向量表示包括待分类实体的向量表示,至少一个第三向量表示与至少一个候选实体类型一一对应且与待分类实体的上下文相关;针对至少一个候选实体类型中的每一个:基于第二向量表示、该候选实体类型对应的第一向量表示以及该候选实体类型对应的第三向量表示,确定待分类实体与该候选实体类型之间的评估值,从而得到至少一个候选实体类型对应的评估值;基于至少一个候选实体类型对应的评估值,确定待分类实体的目标实体类型。

    一种增强图模型抗攻击能力的方法和系统

    公开(公告)号:CN111309975A

    公开(公告)日:2020-06-19

    申请号:CN202010105695.5

    申请日:2020-02-20

    Abstract: 本申请实施例公开了一种增强图模型抗攻击能力的方法和系统。所述方法包括:获取目标图数据,其包括第一点集V1以及边集E;任意生成n条边的扰动边集ΔE,其中,n条边的节点构成第二点集V2;从第二点集V2中任意选择一个修正点;从第一点集V1中任意选择若干个点构成修正点的候选目标点集V3;从候选目标点集V3中选择一个目标点,并利用选择的目标点替换修正点,以更新扰动边集ΔE得到扰动边集ΔE′;基于扰动边集ΔE′调整边集E得到调整后的目标图数据;重复从第二点集V2中选择修正点并迭代调整边集E,得到对抗图数据;基于该对抗图数据,调整图模型。其中,目标图数据可以包括个人信息,图模型可以为机器学习模型。

    后门样本的检测方法、装置和电子设备

    公开(公告)号:CN111242322A

    公开(公告)日:2020-06-05

    申请号:CN202010335295.3

    申请日:2020-04-24

    Inventor: 任彦昆

    Abstract: 本说明书实施例提出了一种后门样本的检测方法、装置和电子设备,其中,上述后门样本的检测方法中,获取待检测的样本之后,利用预先训练的第一模型对上述待检测的样本进行分类,获得上述待检测的样本所属的第一类别,然后获取第一模型对上述待检测的样本进行分类之后获得的第一输出向量,利用预先训练的第二模型对上述第一输出向量进行分类,获得上述第一输出向量所属的第二类别,其中,上述第二类别不同于上述第一类别,最后,利用上述第一模型获得上述待检测的样本分别属于第一类别和第二类别的概率,以及利用上述第二模型获得上述第一输出向量分别属于第一类别和第二类别的概率,根据上述概率,获得上述待检测的样本是否为后门样本的检测结果。

    用于生成对抗文本的生成模型的训练方法及装置

    公开(公告)号:CN111241287A

    公开(公告)日:2020-06-05

    申请号:CN202010048326.7

    申请日:2020-01-16

    Inventor: 任彦昆

    Abstract: 本说明书实施例提供一种用于生成对抗文本的生成模型的训练方法及装置,在方法中,将具有分类标签的原始文本输入生成模型,生成对抗文本,该对抗文本用于模拟对目标分类模型的攻击。将对抗文本分别输入预先训练的目标分类模型和第二分类模型,得到第一分类结果和第二分类结果。第二分类模型用于基于文本的情感极性实现文本分类。根据第一分类结果和原始文本的分类标签,确定第一预测损失。根据第二分类结果和原始文本的分类标签,确定第二预测损失。根据原始文本与对抗文本的文本距离,确定第三预测损失。以最大化第一预测损失,且最小化第二预测损失和第三预测损失为目标,训练生成模型。

Patent Agency Ranking