公开(公告)号：CN118626354A

公开(公告)日：2024-09-10

申请号：CN202410724666.5

申请日：2024-06-05

Applicant: 中国信息通信研究院

Inventor： 韩旭 ,  魏凯 ,  曹峰 ,  董晓飞 ,  李荪 ,  赵丹萍

IPC: G06F11/34 ,  G06F11/36 ,  G06N3/094 ,  G06N3/0475 ,  G06N3/045 ,  G06N3/084 ,  G06N3/086 ,  G06F16/23

Abstract: 本申请涉及模型测试技术领域，公开一种动态自适应的模型基准测试的方法及装置、测试设备，方法包括：在动态数据库中选取多个测试题目作为第一测试数据集；将第一测试数据集输入目标待测模型，获得目标待测模型的输出结果；根据输出结果，确定目标待测模型的适应度函数结果；若适应度函数结果满足阈值条件，则对输出结果进行分析，获得目标待测模型的能力测试结果；否则，基于演进策略对第一测试数据集进行更新，并利用更新后的第二测试数据集对目标待测模型进行迭代测试。本申请能够更有效地避免遍历全部测试数据集，能够避免“刷榜”问题，能够提高模型能力测试结果的准确性和可信度，能更高效地更精准地挖掘模型缺陷。