公开(公告)号：CN118860821A

公开(公告)日：2024-10-29

申请号：CN202410853179.9

申请日：2024-06-27

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 李晨晨 ,  施林锋 ,  王旭东 ,  张东旭 ,  周春颐 ,  张晓露

IPC: G06F11/34 ,  G06F18/241 ,  G06F18/22

Abstract: 本申请一个或多个实施例提供一种模型性能评测方法和装置，所述方法包括：获取包含多个模型的模型集合，以及包含至少一条评测样本的样本集合；将样本集合中的评测样本依次确定为目标评测样本，并获取在针对模型集合进行归并排序的过程中产生的第一类模型对；将第一类模型对发布至标注方，以由标注方根据将目标评测样本分别输入第一类模型对中的两个模型得到的模型输出，对第一类模型对进行标注，得到用于指示第一类模型对中的两个模型在目标评测样本上的模型性能的比较结果的标注结果；获取第一类模型对在目标评测样本上的标注结果，并根据标注结果继续完成针对模型集合的归并排序，得到模型集合中的模型在目标评测样本上的模型性能的排序结果。