公开(公告)号：CN119621503A

公开(公告)日：2025-03-14

申请号：CN202411598739.7

申请日：2024-11-08

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 王新宇 ,  王旭东 ,  刘松

IPC: G06F11/34 ,  G06F11/30 ,  G06N20/00

Abstract: 本说明书一个或多个实施例提供一种模型评测方法、装置、电子设备、存储介质和程序产品。所述模型评测方法包括：接收模型评测任务，所述模型评测任务指定有目标模型、评测数据集和评测指标；采用所述评测数据集在若干维度上量化所述目标模型的能力指标；获取所述评测指标对应的评测表达式，所述评测表达式以一个或多个能力指标作为输入变量；基于所述评测表达式和对应能力指标的指标值确定所述目标模型的模型评测结果。

公开(公告)号：CN118860821A

公开(公告)日：2024-10-29

申请号：CN202410853179.9

申请日：2024-06-27

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 李晨晨 ,  施林锋 ,  王旭东 ,  张东旭 ,  周春颐 ,  张晓露

IPC: G06F11/34 ,  G06F18/241 ,  G06F18/22

Abstract: 本申请一个或多个实施例提供一种模型性能评测方法和装置，所述方法包括：获取包含多个模型的模型集合，以及包含至少一条评测样本的样本集合；将样本集合中的评测样本依次确定为目标评测样本，并获取在针对模型集合进行归并排序的过程中产生的第一类模型对；将第一类模型对发布至标注方，以由标注方根据将目标评测样本分别输入第一类模型对中的两个模型得到的模型输出，对第一类模型对进行标注，得到用于指示第一类模型对中的两个模型在目标评测样本上的模型性能的比较结果的标注结果；获取第一类模型对在目标评测样本上的标注结果，并根据标注结果继续完成针对模型集合的归并排序，得到模型集合中的模型在目标评测样本上的模型性能的排序结果。