公开(公告)号：CN120029673A

公开(公告)日：2025-05-23

申请号：CN202510389327.0

申请日：2025-03-28

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 谭哲昊 ,  焦亦涵 ,  杨丹 ,  申月 ,  王剑 ,  魏鹏 ,  晟禾 ,  罗业成 ,  孙曾军 ,  周华磊 ,  郭春晓

IPC: G06F9/318 ,  G06N5/04 ,  G06N3/045 ,  G06N3/08 ,  G06F18/241

Abstract: 本说明书实施例提供一种目标领域下的大模型微调方法和装置。方法包括：获取多个样本构成的训练数据集；任一样本包括输入文本和期望响应，所述输入文本包括所述目标领域的请求任务和执行所述请求任务的指令；所述期望响应包括标签思考路径、基于所述标签思考路径和检索到的若干文档得到的标签回答；所述标签思考路径包括所述请求任务的概念分类、基于所述概念分类确定的关联信息；利用所述训练数据集对大模型进行指令微调，以得到目标领域下的大模型。能够进一步提高大模型在垂直领域上的表现。

公开(公告)号：CN120068851A

公开(公告)日：2025-05-30

申请号：CN202510126462.6

申请日：2025-01-27

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 谭哲昊 ,  焦亦涵 ,  杨丹 ,  申月 ,  王剑 ,  魏鹏 ,  晟禾

IPC: G06F40/279 ,  G06N5/04

Abstract: 本说明书实施例提供了一种对大语言模型进行微调的方法，包括：确定第一问题，和针对所述第一问题的第一答案，其中，第一答案根据文档集合的内容经第一推理得到，第一推理包括，文档过滤、文档组合以及递推推理；将第一微调指令输入大语言模型，第一微调指令包括第一问题，文档集合，并指示大语言模型进行逐步推理，输出以第一标记标注的推理过程和以第二标记标注的推理答案；根据大语言模型输出的推理过程和推理答案，以及监督文本，对大语言模型进行微调，监督文本包括，以第一标记标注的第一推理文本，和以第二标记标注的第一答案。