-
公开(公告)号:CN118885402B
公开(公告)日:2024-12-03
申请号:CN202411369109.2
申请日:2024-09-29
Applicant: 中国工程物理研究院计算机应用研究所
IPC: G06F11/36 , G06V10/764 , G06V10/82 , G06N3/084
Abstract: 本发明涉及人工智能安全领域提供了一种深度学习目标检测系统压力测试方法及装置。本发明主旨在于解决评估目标检测系统在极限状态下的时效性问题。主要方案包括对原始图像进行多目标测试样例生成处理,并对图像中的候选框大小进行约束,得到增加目标数量的图像;对得到的优化目标数量的图像进行测试方法实际应用处理,得到测试用例和极限性能测试结果。此方法适用于评估无人机、工控、场景监控等目标检测系统的极限性能,有助于确定硬件配置是否满足使用需求,或降低成本。
-
公开(公告)号:CN117972375B
公开(公告)日:2024-08-02
申请号:CN202410149721.2
申请日:2024-02-01
Applicant: 中国工程物理研究院计算机应用研究所
IPC: G06F18/21 , G06F18/214 , G06F18/241
Abstract: 本发明属于人工智能安全领域,提供了一种访问受限条件下的深度学习分类模型的知识产权验证方法。主旨在于解决基于水印的有损方法会降低模型分类正确率,基于指纹的无损方法生成的测试用例泛化能力差等问题。主要方案包括对本地模型进行训练,包括替代模型和参考模型,这些模型将在测试用例生成阶段和阈值确定阶段使用;设计测试用例生成方案,利用对抗样本实现迁移攻击,以生成鲁棒的测试用例;设计测试用例置信度计算方式,评估测试用例的质量;在访问受限条件下,通过嫌疑模型输出的类别进行阈值计算和知识产权验证。本发明提升了测试用例验证的可靠性,提升了验证效率。
-
公开(公告)号:CN116455645B
公开(公告)日:2024-02-02
申请号:CN202310444583.6
申请日:2023-04-24
Applicant: 中国工程物理研究院计算机应用研究所
Abstract: 本发明涉及安全技术领域,提供了一种用于网络靶场数据的细粒度隔离防护方法及系统,其主旨在能够实现靶场中对敏感数据的访问权限的精细化管控。主要方案包括凭证生成阶段。数据拥有者将数据的元数据、可授权访问次数值、访问时间限制发送存储在区块链中;数据用户在区块链中检索数据的元数据并向区块链发送访问请求,区块链生成访问凭证并返回给数据用户。用户访问阶段。当用户需要访问数据时,用户首先确认授权密钥,然后计算用于访问的请求密钥QK并发起访问请求。权限验证阶段。当区块链系统收到访问权限验证请求时,会调用ACC对接收到的QK进行权限验证,确认发起请求的数据用户是否具有访问权限,ACC输出通过请求或拒绝请求的结果。
-
公开(公告)号:CN116108477A
公开(公告)日:2023-05-12
申请号:CN202211475616.5
申请日:2022-11-23
Applicant: 中国工程物理研究院计算机应用研究所
Abstract: 本发明公开了一种满足差分隐私的敏感数据生成方法,服务器将初始生成模型发送给任意一个客户端,客户端使用接收到的生成模型生成合成数据,并将合成数据添加到本地训练集中,然后采用生成对抗网络进行训练,客户端完成训练后,将训练过的模型随机传递给一个剩余的客户端,直到所有的客户端都参加了训练,然后将最终的模型返回给服务器;本发明能够在保障数据隐私安全的前提下,克服多个训练参与方不能在线同时训练的困难,顺序地在各参与方上训练机器学习模型,并且能解决因为数据非独立同分布而带来的模型发散的问题。最终得到的生成模型可以无限生成逼真的合成数据,改善由隐私导致的数据短缺问题。
-
公开(公告)号:CN114758189B
公开(公告)日:2023-04-07
申请号:CN202210353949.4
申请日:2022-04-01
Applicant: 中国工程物理研究院计算机应用研究所
IPC: G06V10/774 , G06V10/82 , G06V10/764 , G06V10/25 , G06N3/045 , G06N3/084 , G06N3/094
Abstract: 本发明公开了一种基于梯度热力图和关键区域检测对抗样本的方法及系统,属于对抗样本识别技术领域,解决现有对抗样本检测方法的误报率和漏报率较高的问题。本发明基于图像关键区域识别方法对图像或视频进行关键区域识别;针对深度学习模型,利用热点区域检测方法对图像或视频进行热点区域识别;对关键区域和热点区域进行重合度计算,得到重合度值;判断重合度值是否大于给定的边界值,若大于边界值,则图像或视频为正常样本,否则判断为对抗样本。本发明用于对抗样本识别。
-
公开(公告)号:CN114758189A
公开(公告)日:2022-07-15
申请号:CN202210353949.4
申请日:2022-04-01
Applicant: 中国工程物理研究院计算机应用研究所
IPC: G06V10/774 , G06V10/82 , G06V10/764 , G06V10/25 , G06N3/08 , G06N3/04 , G06K9/62
Abstract: 本发明公开了一种基于梯度热力图和关键区域检测对抗样本的方法及系统,属于对抗样本识别技术领域,解决现有对抗样本检测方法的误报率和漏报率较高的问题。本发明基于图像关键区域识别方法对图像或视频进行关键区域识别;针对深度学习模型,利用热点区域检测方法对图像或视频进行热点区域识别;对关键区域和热点区域进行重合度计算,得到重合度值;判断重合度值是否大于给定的边界值,若大于边界值,则图像或视频为正常样本,否则判断为对抗样本。本发明用于对抗样本识别。
-
公开(公告)号:CN114757349A
公开(公告)日:2022-07-15
申请号:CN202210353815.2
申请日:2022-04-01
Applicant: 中国工程物理研究院计算机应用研究所
IPC: G06N3/08 , G06N3/04 , G06V10/774 , G06V10/82 , G06V10/764 , G06V10/96 , G06K9/62
Abstract: 本发明公开了一种基于条件对抗样本的模型投毒方法及系统,属于人工智能安全技术领域,解决现有技术容易出现无效投毒的情况,从而造成数据被防御,无法使模型的性能降低。本发明获取训练数据集,其中,训练数据集包括多个不同类别的子集,各子集包括多个正常样本;在训练数据集中任选一个子集或多个子集,给子集中各正常样本初始化两个扰动;基于已预训练的检测模型对正常样本和两个扰动进行检测,若满足要求,得到正常样本与两个扰动之和,即条件对抗样本,若不满足要求,更新扰动后再次执行步骤3;将得到条件对抗样本的正常样本替换为条件对抗样本,替换完成后得到新的训练数据集,并基于新的训练数据集训练检测模型。本发明用于模型投毒。
-
公开(公告)号:CN117972375A
公开(公告)日:2024-05-03
申请号:CN202410149721.2
申请日:2024-02-01
Applicant: 中国工程物理研究院计算机应用研究所
IPC: G06F18/21 , G06F18/214 , G06F18/241
Abstract: 本发明属于人工智能安全领域,提供了一种访问受限条件下的深度学习分类模型的知识产权验证方法。主旨在于解决基于水印的有损方法会降低模型分类正确率,基于指纹的无损方法生成的测试用例泛化能力差等问题。主要方案包括对本地模型进行训练,包括替代模型和参考模型,这些模型将在测试用例生成阶段和阈值确定阶段使用;设计测试用例生成方案,利用对抗样本实现迁移攻击,以生成鲁棒的测试用例;设计测试用例置信度计算方式,评估测试用例的质量;在访问受限条件下,通过嫌疑模型输出的类别进行阈值计算和知识产权验证。本发明提升了测试用例验证的可靠性,提升了验证效率。
-
公开(公告)号:CN118885402A
公开(公告)日:2024-11-01
申请号:CN202411369109.2
申请日:2024-09-29
Applicant: 中国工程物理研究院计算机应用研究所
IPC: G06F11/36 , G06V10/764 , G06V10/82 , G06N3/084
Abstract: 本发明涉及人工智能安全领域提供了一种深度学习目标检测系统压力测试方法及装置。本发明主旨在于解决评估目标检测系统在极限状态下的时效性问题。主要方案包括对原始图像进行多目标测试样例生成处理,并对图像中的候选框大小进行约束,得到增加目标数量的图像;对得到的优化目标数量的图像进行测试方法实际应用处理,得到测试用例和极限性能测试结果。此方法适用于评估无人机、工控、场景监控等目标检测系统的极限性能,有助于确定硬件配置是否满足使用需求,或降低成本。
-
公开(公告)号:CN118035104B
公开(公告)日:2024-06-14
申请号:CN202410225058.X
申请日:2024-02-29
Applicant: 中国工程物理研究院计算机应用研究所
IPC: G06F11/36 , G06F40/205
Abstract: 本发明涉及大语言模型领域,提供了一种针对大语言模型的系统负载压力测试方法。主旨在于解决现有海绵测试样例生成方法存在的生成效率低和测试效果有限等缺点。主要方案包括步骤海绵测试样例生成步骤:针对本地大语言模型以白盒梯度优化的形式生成海绵测试样例并构建压力测试样例数据集;大语言模型压力测试步骤:根据压力测试样例数据集对待测试大语言模型进行系统负载压力测试并生成测试结果。通过引入Gumbel‑Softmax技术实现白盒海绵测试样例生成,提高生成效率,并将专家模型激活度纳入优化目标,从而实现对大语言模型系统的整体测试,确保大语言模型在极端情况下的可用性和服务连续性。
-
-
-
-
-
-
-
-
-