-
公开(公告)号:CN111950626A
公开(公告)日:2020-11-17
申请号:CN202010798226.6
申请日:2020-08-10
Applicant: 上海交通大学
Abstract: 一种基于EM距离的图像分类深度神经网络模型鲁棒性评估方法,通过对普通样本及其对应生成的对抗样本进行逼近EM距离的方法实现EM距离计算,将结果作为鲁棒性评估指标以评价模型的安全性能。本发明全面地反映了面对不同攻击下的鲁棒性,能够广泛应用于基于分类器的机器学习模型,以图像分类为突出领域,对模型鲁棒性进行统一评估。用于人工智能模型,对输入模型进行测试,对人工智能的安全性有明显提升。
-
公开(公告)号:CN117909984A
公开(公告)日:2024-04-19
申请号:CN202311736778.4
申请日:2023-12-15
Applicant: 上海交通大学
Abstract: 本发明提供了一种基于相似性分析的实时操作系统驱动漏洞挖掘系统及方法,包括:针对选定的实时操作系统及所选驱动类型执行编译流程,获得编译参数及编译环境配置;利用静态分析技术,识别关键结构体和成员变量,并在选定的驱动类型的源代码库中筛选出具备预设高相似性的函数集合;通过提取关键函数语句并进行令牌化处理,输入至大型语言模型以获得一维嵌入向量,利用余弦相似度分析技术,评估各函数间的相似度,并生成相似性指标;从相似性指标差异最大的函数对开始,输入至大型语言模型进行迭代验证,并产生相关报告。本发明利用大语言模型和余弦相似度进行特征提取和相似度计算,提高了分析的精度。
-
公开(公告)号:CN111950628B
公开(公告)日:2023-10-24
申请号:CN202010799032.8
申请日:2020-08-11
Applicant: 上海交通大学
IPC: G06V10/764 , G06V10/82 , G06N3/0475 , G06N3/045 , G06N3/094
Abstract: 一种人工智能图像分类模型的鲁棒性评估与增强系统,包括:白盒评估模块、黑盒评估模块和防御增强模块,白盒评估模块从用户处获得待评估模型及所选的评估指标,根据多个不同指标从各方面评估模型抵抗攻击的能力,并计算出所有指标的分数以及鲁棒性总分;黑盒评估模块从用户处获得待评估模型的输出结果,与正确标签相比较得到评估结果。提供了多种黑盒评估手段,从黑盒的角度评估模型的鲁棒性;防御增强模块内置多种鲁棒性提升手段。从用户处获得待增强的模型及所选的防御增强方法信息,使用相应的防御增强方法对使用者上传的模型进行鲁棒性增强。本发明通过多种鲁棒性评估指标优化整个模型鲁棒性评估流程,使得不同的方法之间可以更方便、准确和全面的进行比较和评估的同时,通过内置的多种技术对模型进行防御,提升模型的鲁棒性。
-
公开(公告)号:CN111950628A
公开(公告)日:2020-11-17
申请号:CN202010799032.8
申请日:2020-08-11
Applicant: 上海交通大学
IPC: G06K9/62
Abstract: 一种人工智能图像分类模型的鲁棒性评估与增强系统,包括:白盒评估模块、黑盒评估模块和防御增强模块,白盒评估模块从用户处获得待评估模型及所选的评估指标,根据多个不同指标从各方面评估模型抵抗攻击的能力,并计算出所有指标的分数以及鲁棒性总分;黑盒评估模块从用户处获得待评估模型的输出结果,与正确标签相比较得到评估结果。提供了多种黑盒评估手段,从黑盒的角度评估模型的鲁棒性;防御增强模块内置多种鲁棒性提升手段。从用户处获得待增强的模型及所选的防御增强方法信息,使用相应的防御增强方法对使用者上传的模型进行鲁棒性增强。本发明通过多种鲁棒性评估指标优化整个模型鲁棒性评估流程,使得不同的方法之间可以更方便、准确和全面的进行比较和评估的同时,通过内置的多种技术对模型进行防御,提升模型的鲁棒性。
-
-
-