公开(公告)号：CN108257116A

公开(公告)日：2018-07-06

申请号：CN201711487948.4

申请日：2017-12-30

Applicant: 清华大学

Inventor： 朱军 ,  董胤蓬 ,  廖方舟 ,  庞天宇 ,  苏航 ,  胡晓林

IPC: G06T7/00 ,  G06N3/04 ,  G06K9/62

Abstract: 本发明提供一种生成对抗图像的方法，包括：利用梯度算法，根据上一轮迭代获得的图像，获得第一深度神经网络模型的损失，并根据损失生成当前轮迭代的动量项；利用当前轮迭代的动量项，根据上一轮迭代获得的图像，生成当前轮迭代获得的图像，直至迭代达到预设的迭代轮数，将最后一轮迭代获得的图像作为对抗图像。本发明提供的一种生成对抗图像的方法，通过利用动量项进行对原始图像的迭代，获得能对深度神经网络模型攻击的对抗图像，有效地减轻白盒攻击成功率和迁移性能之间的耦合，对白盒和黑盒模型都具有较高的攻击成功率，能用于对抗训练提高利用深度神经网络模型的进行图像分类的正确率，也能用于攻击深度神经网络模型。

公开(公告)号：CN117441173A

公开(公告)日：2024-01-23

申请号：CN202180098740.1

申请日：2021-05-31

Applicant: 罗伯特·博世有限公司 ,  清华大学

Inventor： 董胤蓬 ,  杨啸 ,  邓志杰 ,  庞天宇 ,  苏航 ,  朱军 ,  程泽

IPC: G06N3/08 ,  G06N7/01

Abstract: 本公开内容提供了一种用于深度学习的方法。该方法包括：由深度学习模型接收多个样本和与所述多个样本相对应的多个标签；由深度学习模型，基于威胁模型对抗性地增扩所述多个样本；以及由深度学习模型，将低的预测置信度分配给所述多个对抗性增扩样本中由于基于威胁模型的对抗性增扩而具有噪声标签的一个或多个对抗性增扩样本。

公开(公告)号：CN113487023A

公开(公告)日：2021-10-08

申请号：CN202110680503.8

申请日：2021-06-18

Applicant: 清华大学

Inventor： 朱军 ,  庞天宇 ,  杨啸 ,  董胤蓬 ,  苏航

IPC: G06N3/08

Abstract: 本申请实施例公开了一种网络攻击方法和装置，该方法包括：获取原始的第一训练数据集，并确定待攻击的神经网络模型；在对神经网络模型执行第t轮训练时，采用预先测得的第一类修改参数对第一训练数据集执行第一修改操作，并采用根据第一类修改参数修改后的第一训练数据集对神经网络模型进行训练；t＝0，…，T‑1，T为正整数；在对神经网络模型执行最后一轮第T+1轮训练时，采用预先测得的第二类修改参数对所述第一训练数据集执行第二修改操作，并采用修改后的第一训练数据集对神经网络模型进行训练；其中，第二类修改参数使得第一类修改参数的修改梯度增大。通过该实施例方案，显著放大了投毒攻击效果。

公开(公告)号：CN117940936A

公开(公告)日：2024-04-26

申请号：CN202180101286.0

申请日：2021-08-18

Applicant: 罗伯特·博世有限公司 ,  清华大学

Inventor： 杨啸 ,  董胤蓬 ,  庞天宇 ,  苏航 ,  朱军 ,  程泽

IPC: G06N3/094 ,  G06N3/0985 ,  G06N3/084 ,  G06N3/0442

Abstract: 本公开内容提供了一种用于评估对抗鲁棒性的方法。该方法包括：基于一组学习型防御模型集和训练数据，学习由递归神经网络(RNN)参数化的优化器，以最大限度地降低该组学习型防御模型的性能；以及通过使用所学习的优化器攻击至少一个目标防御模型，来评估该至少一个目标防御模型在目标数据集或数据点上的对抗鲁棒性。

公开(公告)号：CN107463951A

公开(公告)日：2017-12-12

申请号：CN201710591926.6

申请日：2017-07-19

Applicant: 清华大学

Inventor： 朱军 ,  庞天宇 ,  杜超

IPC: G06K9/62 ,  G06N3/02

CPC classification number: G06K9/6268 ,  G06N3/02

Abstract: 本发明实施例提供一种提高深度学习模型鲁棒性的方法及装置，其中，所述方法包括：利用预设的反交叉熵训练方法训练深度神经网络，获得训练好的深度神经网络分类器；将目标图像输入所述深度神经网络分类器，利用预设的联合分数阈值输出方法，计算所述目标图像的预测类别并判断是否输出所述预测类别。本发明实施例能够在对抗环境中使得深度神经网络分类器在对抗样本上有很高的比例拒绝返回预测类别，而在正常样本上有很高的比例选择返回预测类别，且深度神经网络分类器在所有输入样本上所选择返回的预测类别的准确率较高，大大提高了深度学习模型的鲁棒性。

公开(公告)号：CN113780376A

公开(公告)日：2021-12-10

申请号：CN202110988393.1

申请日：2021-08-26

Applicant: 清华大学

Inventor： 朱军 ,  庞天宇

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请实施例提供了一种分类方法和装置，该方法包括：由所述分类模型对所述第一数据进行处理获取初始分类结果和分类权重；根据所述分类权重对所述初始分类结果的置信度进行修正；当修正后的置信度大于预设的置信度阈值时，将所述初始分类结果作为最终分类结果。通过该实施例方案，提高了分类准确率。

公开(公告)号：CN110046694A

公开(公告)日：2019-07-23

申请号：CN201910247718.3

申请日：2019-03-29

Applicant: 清华大学

Inventor： 朱军 ,  庞天宇 ,  许堃 ,  杜超 ,  陈宁

IPC: G06N3/04

Abstract: 本发明实施例提供一种集成模型的自适应多样性增强训练方法及装置，将待训练的集成模型作为目标集成模型，根据目标集成模型中各个子模型的输出获得目标正则项，并将目标正则项加入到目标集成模型的每个子模型的迭代训练过程中，当且仅当目标集成模型中的所有子模型均训练至收敛状态时，则确定目标集成模型训练完成。该方法及装置所引入的目标正则项中充分考虑了目标集成模型中的各个子模型之间的相互作用，将目标正则项加入到目标集成模型的每个子模型的迭代训练中，有利于提高目标集成模型的鲁棒性和可靠性。