公开(公告)号：CN120046685A

公开(公告)日：2025-05-27

申请号：CN202510213820.7

申请日：2025-02-25

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 徐宽 ,  刘佳 ,  温祖杰 ,  江沛杰 ,  赵海林 ,  史可 ,  赵前 ,  蔡名红 ,  张涵笑

IPC: G06N3/084 ,  G06N3/0985

Abstract: 本说明书实施例涉及训练大语言模型的方法及装置，方法包括：首先，通过将目标批次的训练样本输入所述大语言模型，确定目标训练轮次的过程数据，所述训练样本包括文本数据，所述过程数据包括训练损失值或各个参数的梯度值；然后，获取对目标训练轮次之前的连续N个训练轮次的过程数据进行统计得到的基准值；接下来，当所述目标训练轮次的过程数据与所述基准值之间的目标差异超过预设的第一阈值时，将所述目标训练轮次确定为异常训练轮次；最后，对所述异常训练轮次进行目标处理；所述目标处理包括跳过所述异常训练轮次，或者调整所述异常训练轮次中的超参数，以降低该异常训练轮次的影响。