大语言模型的微调方法、召回应答方法及装置

    公开(公告)号:CN118154198A

    公开(公告)日:2024-06-07

    申请号:CN202410303971.7

    申请日:2024-03-15

    Inventor: 涂娟辉 靳丁南

    Abstract: 本说明书实施例提供了一种大语言模型的微调方法、召回应答方法及装置。在对大语言模型进行微调时,可以通过小语言模型,从用户诉求库中筛选与第一用户原声匹配度最高的多个用户诉求,作为与第一用户原声对应的召回候选项,并利用多个召回候选项和第一用户原声生成第一提示模板。利用第一提示模板和标注用户诉求对大语言模型进行微调,以使得大语言模型从多个召回候选项中确定与第一用户原声匹配的预测用户诉求,基于标注的用户诉求和预测用户诉求对模型训练权重进行微调。在执行召回业务时,利用微调后的训练权重对新申请进行预测。用户原声和用户诉求包含隐私数据,需要进行隐私保护。

Patent Agency Ranking