-
公开(公告)号：CN114707661B
公开(公告)日：2024-10-18
申请号：CN202210383948.4
申请日：2022-04-13
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N20/00
Abstract: 本说明书实施例公开了一种对抗训练方法和系统。所述方法包括：基于多个训练样本，对目标模型进行多轮迭代的对抗训练。其中一轮迭代包括：根据训练样本的信息增益，从所述多个训练样本中选取参与当前轮对抗训练的当前轮训练样本，其中，训练样本的信息增益与基于该训练样本生成的对抗样本对目标模型的威胁强度正相关；基于所述当前轮训练样本对目标模型进行对抗训练，以提高目标模型抵御对抗攻击的能力。
-
公开(公告)号：CN113868671B
公开(公告)日：2022-03-25
申请号：CN202111446210.X
申请日：2021-12-01
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书提供一种数据处理方法、神经网络模型的后门防御方法及装置，基于神经元的权重和梯度值计算出各个神经元的重要性指标值，进而筛选出后门神经元，针对后门神经元进行神经网络模型的优化，有效的避免了神经网络模型被后门攻击后，导致数据处理出现错误的问题，提升了数据处理的安全性和准确性，进一步提升了人工智能系统的安全性能。
-
公开(公告)号：CN113868671A
公开(公告)日：2021-12-31
申请号：CN202111446210.X
申请日：2021-12-01
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书提供一种数据处理方法、神经网络模型的后门防御方法及装置，基于神经元的权重和梯度值计算出各个神经元的重要性指标值，进而筛选出后门神经元，针对后门神经元进行神经网络模型的优化，有效的避免了神经网络模型被后门攻击后，导致数据处理出现错误的问题，提升了数据处理的安全性和准确性，进一步提升了人工智能系统的安全性能。
-
公开(公告)号：CN114707661A
公开(公告)日：2022-07-05
申请号：CN202210383948.4
申请日：2022-04-13
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N20/00
Abstract: 本说明书实施例公开了一种对抗训练方法和系统。所述方法包括：基于多个训练样本，对目标模型进行多轮迭代的对抗训练。其中一轮迭代包括：根据训练样本的信息增益，从所述多个训练样本中选取参与当前轮对抗训练的当前轮训练样本，其中，训练样本的信息增益与基于该训练样本生成的对抗样本对目标模型的威胁强度正相关；基于所述当前轮训练样本对目标模型进行对抗训练，以提高目标模型抵御对抗攻击的能力。
-
公开(公告)号：CN113869529A
公开(公告)日：2021-12-31
申请号：CN202111456965.8
申请日：2021-12-02
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例公开了一种用于生成第一自然样本的对抗样本的方法、模型评估方法、装置和计算机设备。所述用于生成第一自然样本的对抗样本的方法包括：获取第一对抗样本，所述第一对抗样本的标签与第一自然样本不同；使第一对抗样本接近第一自然样本，直至第一对抗样本与第一自然样本之间的相似程度满足条件并且第一对抗样本的标签与第一自然样本不同；将新的第一对抗样本确定为第一自然样本的对抗样本。本说明书实施例可以生成具有较强攻击性的对抗样本，另外，还可以全面地评估机器学习模型的对抗训练效果。
-
Patent Agency Ranking
公开(公告)号：CN113822443A
公开(公告)日：2021-12-21
申请号：CN202111364482.5
申请日：2021-11-17
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书涉及人工智能领域，特别涉及一种对抗攻击和生成对抗样本的方法。其中，生成对抗样本的方法包括：基于初始样本及其标签、以及待攻击模型，进行一轮或多轮迭代，以构造对抗样本；其中的一轮迭代包括：获取当前轮的待调整样本；当当前轮为第一轮迭代时，所述待调整样本为所述初始样本，否则为前一轮的对抗样本；利用待攻击模型处理所述待调整样本，得到第一输出；基于所述第一输出和所述标签的差异、以及扰动系数，确定扰动数据；将所述扰动数据添加到所述待调整样本中，以获得当前轮的对抗样本；其中，所述扰动系数能够被调整，以使得对抗样本与初始样本间的差异逼近但不超过预设的扰动边界值。
-
公开(公告)号：CN113806754A
公开(公告)日：2021-12-17
申请号：CN202111363866.5
申请日：2021-11-17
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例公开了一种后门防御方法和系统。其中，该方法包括对目标模型进行一轮或多轮更新，其中一轮更新包括：将多个干净数据输入目标模型，获取目标模型中至少部分计算单元的多个输出数据；对于至少部分计算单元中的每一个，基于其多个输出数据确定该计算单元对多个干净数据的响应性指标；基于所述响应性指标，从所述至少部分计算单元中确定一个或多个待处理计算单元；至少对所述待处理计算单元进行处理，以增加所述目标模型对后门攻击的防御能力。
-
-
公开(公告)号：CN113822442A
公开(公告)日：2021-12-21
申请号：CN202111364468.5
申请日：2021-11-17
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N20/00
Abstract: 本说明书涉及人工智能领域，特别涉及一种生成对抗样本的方法及系统。该方法包括：基于初始样本和目标模型的多个替代模型，进行一轮或多轮迭代，以构造对抗样本；其中的一轮迭代包括：获取当前轮的待调整样本；当当前轮为第一轮迭代时，所述待调整样本为所述初始样本，否则为前一轮的对抗样本；基于待调整样本和多个替代模型，确定各替代模型的脆弱方向；所述脆弱方向与替代模型对待调整样本的预测结果与所述初始样本的标签之间的差异相对待调整样本的梯度信息相关；基于各替代模型的脆弱方向确定扰动数据；将所述扰动数据添加到所述待调整样本中，以获得当前轮的对抗样本。
-
公开(公告)号：CN113869529B
公开(公告)日：2023-07-14
申请号：CN202111456965.8
申请日：2021-12-02
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例公开了一种用于生成第一自然样本的对抗样本的方法、模型评估方法、装置和计算机设备。所述用于生成第一自然样本的对抗样本的方法包括：获取第一对抗样本，所述第一对抗样本的标签与第一自然样本不同；使第一对抗样本接近第一自然样本，直至第一对抗样本与第一自然样本之间的相似程度满足条件并且第一对抗样本的标签与第一自然样本不同；将新的第一对抗样本确定为第一自然样本的对抗样本。本说明书实施例可以生成具有较强攻击性的对抗样本，另外，还可以全面地评估机器学习模型的对抗训练效果。
-
-
-
-
-
-
-
-
-
Search Results
12
records
(took 0.035 seconds)
