公开(公告)号：CN117493879A

公开(公告)日：2024-02-02

申请号：CN202311371399.X

申请日：2023-10-20

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 余航 ,  陈超宇 ,  龚梓 ,  刘丙昌 ,  廖聪 ,  李建国

IPC: G06F18/214 ,  G06F18/21

Abstract: 本说明书一个或多个实施例提供一种模型微调方法及装置、电子设备及存储介质，所述方法包括：将多个任务的训练数据输入至待微调模型，得到所述待微调模型输出的每个任务的训练数据的预测结果；根据每个任务的训练数据的预测结果，以及对应的训练数据的标签，确定每个任务的训练损失；根据每个任务的训练损失和每个的任务的损失权重确定总损失，并根据所述总损失对待微调模型的参数进行微调，其中，每个任务的损失权重至少与所述任务的训练数据的数量相关。

公开(公告)号：CN118862877A

公开(公告)日：2024-10-29

申请号：CN202410853211.3

申请日：2024-06-27

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 何志浩 ,  余航 ,  龚梓 ,  李建国

IPC: G06F40/284 ,  G06F40/16 ,  G06N3/0499 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/045

Abstract: 本说明书实施例披露一种文本处理方法及装置。该方法包括：首先，获取目标文本序列，其中包括顺序排列的T个词元。接着，利用状态空间模型进行T次迭代，以得到目标输出；其中，任意第t次迭代包括：利用所述状态空间模型中包括的选择门参数和缩放门参数分别处理第t个词元特征，得到选择门控信号和缩放门控信号；对上一次迭代后的状态空间表征与当前的输入状态进行组合操作，得到本次迭代后的状态空间表征；其中所述输入状态基于所述第t个词元特征而确定，所述组合操作的组合权重通过利用所述缩放门控信号对所述选择门控信号进行缩放处理而确定。之后，基于所述目标输出进行预测处理，得到目标预测结果。

公开(公告)号：CN117668539A

公开(公告)日：2024-03-08

申请号：CN202311573017.1

申请日：2023-11-22

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 龚梓 ,  余航 ,  李建国 ,  廖聪

IPC: G06F18/214 ,  G06F18/21

Abstract: 本说明书一个或多个实施例提供一种模型微调方法及装置、电子设备及存储介质，所述方法包括：将多个训练样本输入至待微调模型，得到所述待微调模型输出的每个训练样本的预测结果，其中，所述多个训练样本属于一个以上任务；根据每个训练样本的预测结果和对应的训练样本的标签，确定每个训练样本的损失值；对于每个任务，根据所述任务的每个训练样本的损失值和所述多个训练样本中属于所述任务的所有训练样本的数据量，确定所述任务的损失值；根据每个任务的损失值确定总损失值，并根据所述总损失值对待微调模型的参数进行微调。