公开(公告)号：CN109190379A

公开(公告)日：2019-01-11

申请号：CN201810878887.2

申请日：2018-08-03

Applicant: 清华大学

Inventor： 赵越 ,  郭建敏 ,  姜宇 ,  顾明 ,  孙家广

IPC: G06F21/57 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明实施例提供一种深度学习系统的漏洞检测方法和装置，其中方法包括：以最大化神经元覆盖率为导向，从待测深度学习系统中选取并激活若干个神经元；基于若干个神经元的张量表达式，以及待测深度学习系统的预测差的张量表达式，构建优化函数，并通过最大化优化函数获取若干个扰动；若所述若干个扰动中任一扰动满足预设条件，则基于该扰动获取检测样本，通过检测样本对待测深度学习系统的漏洞进行检测。本发明实施例提供的方法和装置，能够有效提升神经元覆盖率，使得检测过程更加完备，并且只需要一个深度学习系统，使得漏洞检测方法的应用场景更为广泛，此外，能够生成大量样本，提高了待测深度学习系统漏洞的检测效率。

公开(公告)号：CN109190379B

公开(公告)日：2020-05-19

申请号：CN201810878887.2

申请日：2018-08-03

Applicant: 清华大学

Inventor： 赵越 ,  郭建敏 ,  姜宇 ,  顾明 ,  孙家广

IPC: G06F21/57 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明实施例提供一种深度学习系统的漏洞检测方法和装置，其中方法包括：以最大化神经元覆盖率为导向，从待测深度学习系统中选取并激活若干个神经元；基于若干个神经元的张量表达式，以及待测深度学习系统的预测差的张量表达式，构建优化函数，并通过最大化优化函数获取若干个扰动；若所述若干个扰动中任一扰动满足预设条件，则基于该扰动获取检测样本，通过检测样本对待测深度学习系统的漏洞进行检测。本发明实施例提供的方法和装置，能够有效提升神经元覆盖率，使得检测过程更加完备，并且只需要一个深度学习系统，使得漏洞检测方法的应用场景更为广泛，此外，能够生成大量样本，提高了待测深度学习系统漏洞的检测效率。