公开(公告)号：CN119830988A

公开(公告)日：2025-04-15

申请号：CN202411900790.9

申请日：2024-12-20

Applicant: 复旦大学

Inventor： 桂韬 ,  叶俊杰 ,  吴亿隆 ,  李思贤 ,  黄萱菁

IPC: G06N3/09 ,  G06N3/092 ,  G06N3/045 ,  G06N5/04 ,  G06F16/3329

Abstract: 本申请涉及计算机技术领域，公开了一种模型训练方法、电子设备、存储介质及程序产品。该方法中，用于训练第一大语言模型的第一训练样本包括用户指令、用户指令对应的至少一个工具名称，每个工具名称包括至少一个参考标记。将用户指令输入至第一大语言模型之后，基于该模型输出的预测结果确定各参考标记的第一损失。根据参考标记的标记类别的不同，为各参考标记设置不同的损失权重，然后对各参考标记的第一损失进行加权计算，得到目标损失。基于目标损失训练第一大语言模型，得到第二大语言模型。该方法中，不同标记类别的参考标记对应不同的损失权重，可以提升第二大语言模型在预测具有较大损失权重的标记类别的参考标记时的准确度。