一种基于特征归因的软件安全模型解释方法

    公开(公告)号:CN117725595A

    公开(公告)日:2024-03-19

    申请号:CN202311860164.7

    申请日:2023-12-29

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于特征归因的软件安全模型解释方法,基于可解释人工智能中的特征归因技术,对现有的基于深度学习的软件安全模型进行更新,对已有的可解释算法进行集成,并重新定义了不同软件安全任务中的解释粒度,从而实现软件安全模型的可解释性以及其在安全分析中的实用性,可以辅助包含恶意软件分析、漏洞分析在内的不同下游安全分析任务。本发明针对黑盒的软件安全模型,首次提出了一种基于特征归因的可解释性方法,增加了模型决策的透明性,提升了模型在实际生产中的可信度,可以被用作软件安全专家分析二进制代码或源代码的工具,提供恶意代码或漏洞成因的定位和标注功能,具有实用性强以及可迁移性高等优点。

    一种深度神经网络模型指纹鲁棒性评估方法

    公开(公告)号:CN117115866A

    公开(公告)日:2023-11-24

    申请号:CN202311144816.7

    申请日:2023-09-05

    Applicant: 浙江大学

    Inventor: 姚宏伟 秦湛 任奎

    Abstract: 本发明公开了一种深度神经网络模型指纹鲁棒性评估方法,包括:模拟攻击者获取目标模型Fv和用于微调的替代数据集Dsub;基于min‑max的双层优化算法,逆向出所述目标模型Fv的前面l层和logistic层,分别添加行为模式扰动,得到逆向后的前面l层的输出z1和logistic层的输出z2,并基于所述逆向后的前面l层的输出z1和logistic层的输出z2进行模型调优,得到替代模型Fs;根据所述目标模型和替代模型,定量和定性评估深度神经网络指纹清除的代价,并输出深度神经网络指纹鲁棒性评分。

    一种基于对抗偏差与鲁棒性知识蒸馏的图像分类方法

    公开(公告)号:CN115131599B

    公开(公告)日:2023-04-18

    申请号:CN202210437273.7

    申请日:2022-04-19

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于对抗偏差与鲁棒性知识蒸馏的图像分类方法,该方法用来解决图像分类领域内知识蒸馏方法出现学生模型对抗鲁棒性学习不足的问题。该方法使学生模型的自然样本输出与对抗样本输出均向教师模型学习,还规定模型自然样本输出与针对其本身的对抗样本输出之间的距离度量为对抗偏差,将教师模型的对抗偏差作为额外蒸馏项传递给学生模型,提高学生模型的泛化性。本发明实现了将教师模型的分类准确性与对抗鲁棒性传递给了学生模型,使学生模型在进行图像分类任务时可以保证较高识别准确率,并更加有效地抵御图像对抗攻击。相比于其他方法,本方法在多个常见的图像分类数据集上取得良好效果。

    一种AI安全攻防测试方法
    34.
    发明公开

    公开(公告)号:CN114579962A

    公开(公告)日:2022-06-03

    申请号:CN202210137681.0

    申请日:2022-02-15

    Applicant: 浙江大学

    Abstract: 本发明公开了一种AI安全攻防测试方法,包括:软硬件协同安全测试流程和全周期自动化安全测试方法。本发明针对大规模、复杂AI系统难以进行全面的安全性检测,当前安全测试方法功能单一、通用性差的缺陷,总结AI系统生命周期的步骤,通过全周期的自动化适配安全测试的方法分析其各个环节存在的攻击方法与对应的防御策略并构建安全测试流程,支持AI系统在实际部署环境中的全面安全防御。

    一种基于有监督模型的非法请求行为识别方法及装置

    公开(公告)号:CN118779758B

    公开(公告)日:2025-03-07

    申请号:CN202411281791.X

    申请日:2024-09-13

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于有监督模型的非法请求行为识别方法及装置,该方法包括:获取待识别订单信息,包括用户从登录到支付所有环节的埋点信息、订单行为信息、IP及设备数据;对订单信息进行预处理并提取特征,得到订单特征;基于订单特征,利用预训练的非法请求行为识别模型预测待识别订单的非法请求概率,其中非法请求识别模型通过XGBoost方法构建;基于待识别订单的非法请求概率,结合预定的非法请求行为判断规则,通过投票法进行待识别订单的非法请求行为识别。引入XGBoost识别模型,结合专家经验形成的多项识别规则,进而形成基于投票法的模型与规则交叉应用的风险识别体系,可以有效从而实现对每一次请求的识别判断。

    一种多用户端联合作弊识别方法及装置

    公开(公告)号:CN118797488B

    公开(公告)日:2025-02-07

    申请号:CN202411281741.1

    申请日:2024-09-13

    Applicant: 浙江大学

    Abstract: 本发明公开了一种多用户端联合作弊识别方法及装置,该方法包括:获取各订单的服务者和被服务者从登录到履约完成环节的行为信息、订单和支付信息,从其中提取订单特征;基于每个订单的订单特征和作弊可能性构建训练集和测试集,利用训练集对作弊识别模型进行训练,其中作弊识别模型采用LightGBM模型;基于训练后的作弊识别模型,预测测试集中各订单的作弊概率,从而得到作弊概率有效区间;将作弊概率有效区间与预定的规则组进行结合,得到全局最优的组合方式;获取待识别订单,基于全局最优的组合方式,进行待识别订单的作弊识别。通过模型嵌入原规则体系的方式来筛选出全局最优的组合方法,可以较好的提升作弊识别的精准度和召回率。

    一种基于有监督模型的非法请求行为识别方法及装置

    公开(公告)号:CN118779758A

    公开(公告)日:2024-10-15

    申请号:CN202411281791.X

    申请日:2024-09-13

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于有监督模型的非法请求行为识别方法及装置,该方法包括:获取待识别订单信息,包括用户从登录到支付所有环节的埋点信息、订单行为信息、IP及设备数据;对订单信息进行预处理并提取特征,得到订单特征;基于订单特征,利用预训练的非法请求行为识别模型预测待识别订单的非法请求概率,其中非法请求识别模型通过XGBoost方法构建;基于待识别订单的非法请求概率,结合预定的非法请求行为判断规则,通过投票法进行待识别订单的非法请求行为识别。引入XGBoost识别模型,结合专家经验形成的多项识别规则,进而形成基于投票法的模型与规则交叉应用的风险识别体系,可以有效从而实现对每一次请求的识别判断。

    一种基于非决策域方法的模型指纹方法及装置

    公开(公告)号:CN118520440A

    公开(公告)日:2024-08-20

    申请号:CN202410664418.6

    申请日:2024-05-27

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于非决策域方法的模型指纹方法及装置,根据选择的待生成的指纹w和指纹提取密钥并使用可解释性方法定义模型F的损失函数,通过损失函数对指纹提取密钥进行优化,得到优化后的指纹提取密钥;利用优化后的指纹提取密钥通过可解释性方法从模型F中提取指纹w′,与指纹w进行比对,确定版权归属。本申请针对传统的黑盒模型指纹方法中指纹不包含任何信息和易被攻击者伪造的缺点,巧妙地采用非决策域方法,不影响模型的预测结果,能够有效地保护各类人工智能模型的版权,实现多比特和不易伪造的模型版权认证方案。

    一种基于非决策域方法的数据集版权认证方法及装置

    公开(公告)号:CN118520434A

    公开(公告)日:2024-08-20

    申请号:CN202410664413.3

    申请日:2024-05-27

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于非决策域方法的数据集版权认证方法及装置,根据训练数据集、测试数据集和扰动矩阵集合对辅助模型进行优化;根据待嵌入的水印w和水印提取密钥并使用可解释性方法定义优化后的辅助模型的损失函数对扰动矩阵集合进行优化,得到优化后的扰动矩阵集合;利用优化后的扰动矩阵集合将待嵌入的水印w嵌入到训练数据集,得到优化后的训练数据集;利用优化后的训练数据集对待验证模型进行训练优化,得到优化后的验证模型;利用水印提取密钥通过可解释性方法从优化后的验证模型中提取水印w′,与待嵌入的水印w进行比对,确定版权归属。本申请针对传统的基于后门的黑盒数据集版权认证方法对模型有害、不包含任何信息和易被攻击者伪造的缺点,巧妙地采用非决策域方法,在嵌入了水印的数据集上训练模型的性能不会受到影响,不影响模型的预测结果,能够有效地保护各类人工智能数据集的版权,实现无害化、多比特、不易伪造的数据集版权认证方案。

    一种机器学习模型推理与遗忘请求协同处理方法

    公开(公告)号:CN118428475A

    公开(公告)日:2024-08-02

    申请号:CN202410476975.5

    申请日:2024-04-19

    Applicant: 浙江大学

    Abstract: 本发明公开了一种机器学习模型推理与遗忘请求协同处理方法,机器学习在线服务提供商基于遗忘请求在后台实时更新模型,并对用户推理请求进行鲁棒性检测,依据检测结果进行服务调度,从而实现更快的响应速度。该方法包括如下步骤:1)子模型训练:拆分数据集并训练多个具备独立推理能力的子模型并上线服务;2)遗忘请求处理:基于服务期间收到的遗忘请求实时更新相应子模型;3)推理请求响应:优先响应高鲁棒性推理请求,等到模型完成更新后再基于新模型响应低鲁棒性请求。本发明首次提出了机器学习在线服务场景下多种请求的协同处理方法,在保证隐私性与正确性的同时实现了更高的响应速度,优于现有方法,具有通用性强、易于部署等优点。

Patent Agency Ranking