公开(公告)号：CN119783773A

公开(公告)日：2025-04-08

申请号：CN202411756442.9

申请日：2024-12-02

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 王榕甄 ,  闵旭 ,  张晓露 ,  周俊 ,  李崇轩 ,  郑晨宇 ,  吴国强

IPC: G06N3/0985 ,  G06N3/0499 ,  G06F40/16

Abstract: 本说明书实施例提供一种检验大模型损失上界可靠性的方法及装置，在大模型的训练过程既更新模型参数又更新超参数的情况下，对于估算的大模型损失上界进行可靠性检验。具体地，选择特殊数据集，以寻找一个在大模型上损失尽可能大的评测数据集，并确定在评测数据集上的评测损失，检验评测损失是否足够接近损失上界，从而检验损失上界是否合理的、稳定的。其中，所获取的评测数据集，满足相同样本在不同更新规则下更新得到的更新结果之间的距离大于第一数值的发散性、相同更新规则在不同样本上更新得到的更新结果之间的距离大于相应样本的参数之间距离的第二倍数的增长性，以使得评测损失尽可能大。以上技术方案可以检验大模型损失上界的鲁棒性。