公开(公告)号：CN120030542A

公开(公告)日：2025-05-23

申请号：CN202510520160.7

申请日：2025-04-24

Applicant: 南京信息工程大学

Inventor： 尤剑飞 ,  闫雷鸣

IPC: G06F21/56 ,  G06F21/55 ,  G06F18/214 ,  G06F18/241 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种基于反向遗忘的后门防御方法及系统，属于人工智能安全领域；方法包括：利用原始干净样本集合训练预训练模型，并使用预训练模型从污染数据集中筛选出潜在干净样本集合，来合成新的干净样本集合，并使用新的干净样本集合对预训练模型进一步训练；将污染数据集和所述新的干净样本集合输入样本检测模型中，并分别采用交叉熵损失和熵约束进行训练；将污染数据集输入训练后的样本检测模型进行预测，来检测毒化样本。该方法对干净样本的模型特征表现进行反向遗忘，突出后门毒化样本的本体特征，而非直接寻找毒化样本的特征进行判别，从而对更新的样本中毒方法有着更加稳定的防御效果，脱离了传统后门检测方法的局限性。

公开(公告)号：CN119622729B

公开(公告)日：2025-04-29

申请号：CN202510163284.4

申请日：2025-02-14

Applicant: 南京信息工程大学

Inventor： 陈宇 ,  闫雷鸣 ,  于洁敏 ,  尤剑飞 ,  吉丽菁

IPC: G06F21/56 ,  G06N5/04 ,  G06N3/0464

Abstract: 本发明公开了一种基于分支激活统计机制的冗余性结构后门检测方法、电子设备及存储介质，通过对可疑模型进行分支通道函数包装，利用动态计数器统计分支的调用次数和激活比例，从而有效识别模型中存在的潜在冗余后门分支。在复杂多分支网络的应用场景中，无论模型是否受到结构中毒影响，本发明都能够精准捕捉模型各分支的激活行为特征，全面评估模型的冗余情况。当多分支神经网络的某一分支在特定输入下呈现出极高的激活频率，而在正常输入时激活贡献度显著偏低，则将其判定为特定任务的后门攻击冗余分支。本发明能够有效降低结构后门攻击对深度模型的潜在威胁，显著提升模型的稳健性和实际应用价值，为智能模型安全领域提供了一种全新的技术手段。

公开(公告)号：CN119622729A

公开(公告)日：2025-03-14

申请号：CN202510163284.4

申请日：2025-02-14

Applicant: 南京信息工程大学

Inventor： 陈宇 ,  闫雷鸣 ,  于洁敏 ,  尤剑飞 ,  吉丽菁

IPC: G06F21/56 ,  G06N5/04 ,  G06N3/0464

Abstract: 本发明公开了一种基于分支激活统计机制的冗余性结构后门检测方法、电子设备及存储介质，通过对可疑模型进行分支通道函数包装，利用动态计数器统计分支的调用次数和激活比例，从而有效识别模型中存在的潜在冗余后门分支。在复杂多分支网络的应用场景中，无论模型是否受到结构中毒影响，本发明都能够精准捕捉模型各分支的激活行为特征，全面评估模型的冗余情况。当多分支神经网络的某一分支在特定输入下呈现出极高的激活频率，而在正常输入时激活贡献度显著偏低，则将其判定为特定任务的后门攻击冗余分支。本发明能够有效降低结构后门攻击对深度模型的潜在威胁，显著提升模型的稳健性和实际应用价值，为智能模型安全领域提供了一种全新的技术手段。