公开(公告)号：CN119068164A

公开(公告)日：2024-12-03

申请号：CN202310629284.X

申请日：2023-05-30

Applicant: 上海复旦微电子集团股份有限公司

Inventor： 陈凯 ,  单伟君 ,  张弛 ,  杨雪 ,  李鑫 ,  王立辉 ,  李清 ,  俞军

IPC: G06V10/25 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 一种目标检测网络的后门检测及防御方法、装置、介质及设备。所述后门检测方法包括：将待处理图像输入至目标检测网络中，检测得到所述待处理图像中存在的目标的位置信息及初始分类结果；对所述待处理图像中检测到的第一目标，基于LayerCAM算法，得到所述第一目标对应的显著图或者反事实归因显著图；基于所述第一目标对应的显著图或者反事实归因显著图，确定阻隔器的大小和位置；利用所述阻隔器遮挡所述第一目标，确定所述阻隔器遮挡的区域是否为后门触发区域。上述方案，可应用在实际物理世界场景下的后门检测方案，用以应对单阶段类目标检测网络中后门攻击，并能够实时监测可能出现的后门触发，定位后门触发的位置。

公开(公告)号：CN117852029A

公开(公告)日：2024-04-09

申请号：CN202211202494.2

申请日：2022-09-29

Applicant: 上海复旦微电子集团股份有限公司

Inventor： 陈凯 ,  单伟君 ,  张弛 ,  杨雪 ,  李鑫 ,  王立辉 ,  李清 ,  俞军

IPC: G06F21/56 ,  G06F18/214 ,  G06F18/241 ,  G06N3/048

Abstract: 本发明公开了一种神经网络后门检测方法及装置，该方法包括：生成对应神经网络模型中每个标签的检测样本，所述检测样本中包含所述标签对应的分类特征；将所述检测样本输入所述神经网络模型，得到特征层的激活向量，将相同标签对应的检测样本的激活向量拼接在一起，得到所述标签的特征矩阵；根据所述特征矩阵确定所述标签对应的检测指标；对所述检测指标进行异常值检测，根据检测结果确定所述神经网络模型是否存在后门。利用本发明方案，可以在无数据的情况下检测神经网络是否存在后门，进而为神经网络的安全提供有效信息。

公开(公告)号：CN118070871A

公开(公告)日：2024-05-24

申请号：CN202211412318.1

申请日：2022-11-11

Applicant: 上海复旦微电子集团股份有限公司

Inventor： 单伟君 ,  李鑫 ,  陈凯 ,  杨雪 ,  张弛 ,  王立辉 ,  李清 ,  俞军

IPC: G06N3/094

Abstract: 本发明公开了一种样本处理方法及装置、存储介质，该方法包括：获取输入样本，所述输入样本为图像或视频流；在所述输入样本上遍历地叠加防护补丁，得到一组第一样本；分别将所述第一样本输入到神经网络中，得到每个第一样本对应的输出信息；根据所述输出信息确定所述输入样本是否存在对抗样本补丁。利用本发明方案，可以对输入样本是否存在对抗样本补丁实时进行检测，有效防止对抗样本攻击。