-
公开(公告)号:CN118885402A
公开(公告)日:2024-11-01
申请号:CN202411369109.2
申请日:2024-09-29
Applicant: 中国工程物理研究院计算机应用研究所
IPC: G06F11/36 , G06V10/764 , G06V10/82 , G06N3/084
Abstract: 本发明涉及人工智能安全领域提供了一种深度学习目标检测系统压力测试方法及装置。本发明主旨在于解决评估目标检测系统在极限状态下的时效性问题。主要方案包括对原始图像进行多目标测试样例生成处理,并对图像中的候选框大小进行约束,得到增加目标数量的图像;对得到的优化目标数量的图像进行测试方法实际应用处理,得到测试用例和极限性能测试结果。此方法适用于评估无人机、工控、场景监控等目标检测系统的极限性能,有助于确定硬件配置是否满足使用需求,或降低成本。
-
公开(公告)号:CN118035104B
公开(公告)日:2024-06-14
申请号:CN202410225058.X
申请日:2024-02-29
Applicant: 中国工程物理研究院计算机应用研究所
IPC: G06F11/36 , G06F40/205
Abstract: 本发明涉及大语言模型领域,提供了一种针对大语言模型的系统负载压力测试方法。主旨在于解决现有海绵测试样例生成方法存在的生成效率低和测试效果有限等缺点。主要方案包括步骤海绵测试样例生成步骤:针对本地大语言模型以白盒梯度优化的形式生成海绵测试样例并构建压力测试样例数据集;大语言模型压力测试步骤:根据压力测试样例数据集对待测试大语言模型进行系统负载压力测试并生成测试结果。通过引入Gumbel‑Softmax技术实现白盒海绵测试样例生成,提高生成效率,并将专家模型激活度纳入优化目标,从而实现对大语言模型系统的整体测试,确保大语言模型在极端情况下的可用性和服务连续性。
-
公开(公告)号:CN118035104A
公开(公告)日:2024-05-14
申请号:CN202410225058.X
申请日:2024-02-29
Applicant: 中国工程物理研究院计算机应用研究所
IPC: G06F11/36 , G06F40/205
Abstract: 本发明涉及大语言模型领域,提供了一种针对大语言模型的系统负载压力测试方法。主旨在于解决现有海绵测试样例生成方法存在的生成效率低和测试效果有限等缺点。主要方案包括步骤海绵测试样例生成步骤:针对本地大语言模型以白盒梯度优化的形式生成海绵测试样例并构建压力测试样例数据集;大语言模型压力测试步骤:根据压力测试样例数据集对待测试大语言模型进行系统负载压力测试并生成测试结果。通过引入Gumbel‑Softmax技术实现白盒海绵测试样例生成,提高生成效率,并将专家模型激活度纳入优化目标,从而实现对大语言模型系统的整体测试,确保大语言模型在极端情况下的可用性和服务连续性。
-
公开(公告)号:CN117972375A
公开(公告)日:2024-05-03
申请号:CN202410149721.2
申请日:2024-02-01
Applicant: 中国工程物理研究院计算机应用研究所
IPC: G06F18/21 , G06F18/214 , G06F18/241
Abstract: 本发明属于人工智能安全领域,提供了一种访问受限条件下的深度学习分类模型的知识产权验证方法。主旨在于解决基于水印的有损方法会降低模型分类正确率,基于指纹的无损方法生成的测试用例泛化能力差等问题。主要方案包括对本地模型进行训练,包括替代模型和参考模型,这些模型将在测试用例生成阶段和阈值确定阶段使用;设计测试用例生成方案,利用对抗样本实现迁移攻击,以生成鲁棒的测试用例;设计测试用例置信度计算方式,评估测试用例的质量;在访问受限条件下,通过嫌疑模型输出的类别进行阈值计算和知识产权验证。本发明提升了测试用例验证的可靠性,提升了验证效率。
-
公开(公告)号:CN118885402B
公开(公告)日:2024-12-03
申请号:CN202411369109.2
申请日:2024-09-29
Applicant: 中国工程物理研究院计算机应用研究所
IPC: G06F11/36 , G06V10/764 , G06V10/82 , G06N3/084
Abstract: 本发明涉及人工智能安全领域提供了一种深度学习目标检测系统压力测试方法及装置。本发明主旨在于解决评估目标检测系统在极限状态下的时效性问题。主要方案包括对原始图像进行多目标测试样例生成处理,并对图像中的候选框大小进行约束,得到增加目标数量的图像;对得到的优化目标数量的图像进行测试方法实际应用处理,得到测试用例和极限性能测试结果。此方法适用于评估无人机、工控、场景监控等目标检测系统的极限性能,有助于确定硬件配置是否满足使用需求,或降低成本。
-
公开(公告)号:CN117972375B
公开(公告)日:2024-08-02
申请号:CN202410149721.2
申请日:2024-02-01
Applicant: 中国工程物理研究院计算机应用研究所
IPC: G06F18/21 , G06F18/214 , G06F18/241
Abstract: 本发明属于人工智能安全领域,提供了一种访问受限条件下的深度学习分类模型的知识产权验证方法。主旨在于解决基于水印的有损方法会降低模型分类正确率,基于指纹的无损方法生成的测试用例泛化能力差等问题。主要方案包括对本地模型进行训练,包括替代模型和参考模型,这些模型将在测试用例生成阶段和阈值确定阶段使用;设计测试用例生成方案,利用对抗样本实现迁移攻击,以生成鲁棒的测试用例;设计测试用例置信度计算方式,评估测试用例的质量;在访问受限条件下,通过嫌疑模型输出的类别进行阈值计算和知识产权验证。本发明提升了测试用例验证的可靠性,提升了验证效率。
-
公开(公告)号:CN114663730B
公开(公告)日:2023-04-18
申请号:CN202210352808.0
申请日:2022-04-01
Applicant: 中国工程物理研究院计算机应用研究所
IPC: G06V10/774 , G06V10/764 , G06V10/82 , G06N3/094 , G06N3/088 , G06N3/045 , G06N3/0442 , G06N3/0464
Abstract: 本发明公开了一种基于博弈交互的对抗样本检测方法及系统,属于对抗样本识别技术领域,解决现有技术采用对抗训练会降低深度学习模型在正常样本数据集上的性能。本发明包括将图像或视频在空间域上划分为N个区域;对N个区域依次进行编号,得到所有编号组成的集合φ,同时定义Θ为集合φ所有子集构成的超集;根据超集Θ计算超集Θ中每个元素对应的沙普利中间值,并基于所有沙普利中间值得到沙普利矩阵;基于沙普利矩阵中各沙普利中间值计算相邻两个区域的组合沙普利值,最终得到N‑1个组合沙普利值;基于N‑1个组合沙普利值计算沙普利均值,若沙普利值均值大于给定的边界阈值,则判定图像或视频为对抗样本,否则判断为正常样本。本发明用于对抗样本检测方法。
-
公开(公告)号:CN114663730A
公开(公告)日:2022-06-24
申请号:CN202210352808.0
申请日:2022-04-01
Applicant: 中国工程物理研究院计算机应用研究所
IPC: G06V10/774 , G06V10/764 , G06V10/82 , G06N3/08 , G06N3/04 , G06K9/62
Abstract: 本发明公开了一种基于博弈交互的对抗样本检测方法及系统,属于对抗样本识别技术领域,解决现有技术采用对抗训练会降低深度学习模型在正常样本数据集上的性能。本发明包括将图像或视频在空间域上划分为N个区域;对N个区域依次进行编号,得到所有编号组成的集合φ,同时定义Θ为集合φ所有子集构成的超集;根据超集Θ计算超集Θ中每个元素对应的沙普利中间值,并基于所有沙普利中间值得到沙普利矩阵;基于沙普利矩阵中各沙普利中间值计算相邻两个区域的组合沙普利值,最终得到N‑1个组合沙普利值;基于N‑1个组合沙普利值计算沙普利均值,若沙普利值均值大于给定的边界阈值,则判定图像或视频为对抗样本,否则判断为正常样本。本发明用于对抗样本检测方法。
-
公开(公告)号:CN116128700B
公开(公告)日:2023-09-12
申请号:CN202310320554.9
申请日:2023-03-29
Applicant: 中国工程物理研究院计算机应用研究所
IPC: G06T1/00 , G06V10/764 , G06V10/774
Abstract: 本发明公开了一种基于图像固有特征的模型水印植入和验证方法及系统,属于人工智能安全技术领域,解决现有技术使验证水印存在的方法失效的问题。本发明版权所有者选择图片的任一全局特征作为植入水印的基础,并基于选择的全局特征确定全局特征量化函数;给定阈值,并结合全局特征量化函数来构建输出结果为True或False的标准判断函数;基于全局特征量化函数和标准判断函数判断各图片对应的输出结果;若为True时,版权所有者将对应图片的原始标签y修改为验证标签,得到变更后的图片;版权所有者利用变更后的图片作为训练集训练模型,即在此训练过程中以全局特征为触发器的水印将被植入到受保护的模型中,得到训练后的模型。本发明用于模型水印植入和验证。
-
公开(公告)号:CN116128700A
公开(公告)日:2023-05-16
申请号:CN202310320554.9
申请日:2023-03-29
Applicant: 中国工程物理研究院计算机应用研究所
IPC: G06T1/00 , G06V10/764 , G06V10/774
Abstract: 本发明公开了一种基于图像固有特征的模型水印植入和验证方法及系统,属于人工智能安全技术领域,解决现有技术使验证水印存在的方法失效的问题。本发明版权所有者选择图片的任一全局特征作为植入水印的基础,并基于选择的全局特征确定全局特征量化函数;给定阈值,并结合全局特征量化函数来构建输出结果为True或False的标准判断函数;基于全局特征量化函数和标准判断函数判断各图片对应的输出结果;若为True时,版权所有者将对应图片的原始标签y修改为验证标签,得到变更后的图片;版权所有者利用变更后的图片作为训练集训练模型,即在此训练过程中以全局特征为触发器的水印将被植入到受保护的模型中,得到训练后的模型。本发明用于模型水印植入和验证。
-
-
-
-
-
-
-
-
-