-
公开(公告)号：CN119358625A
公开(公告)日：2025-01-24
申请号：CN202411378997.4
申请日：2024-09-29
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N3/082 , G06N3/0895 , G06N3/098 , G06N3/045
Abstract: 本说明书实施例提供了一种分布感知的多阶段大模型微调方法及装置。待微调的大模型包括预训练后的骨干网络和预测层。在微调方法中，使用数据集中的样本对大模型进行第一训练，得到第一大模型，这里的第一训练包括：更新大模型中预测层的参数，不更新大模型中骨干网络的参数。接着，使用数据集中的样本对大模型进行第二训练，得到第二大模型，这里的第二训练包括：更新大模型中骨干网络的参数和预测层中的参数。这样，即得到了两个训练后的大模型，接着可以在两个训练后的大模型中的对应参数构成的范围内进行参数取值，得到微调后的大模型。数据集中包含隐私数据，在数据处理过程中需要进行隐私保护。
Search Results
1
records
(took 0.021 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
