面向数据权限管理的大语言模型训练方法及装置

    公开(公告)号:CN118690381A

    公开(公告)日:2024-09-24

    申请号:CN202410626469.X

    申请日:2024-05-20

    Abstract: 本发明提供一种面向数据权限管理的大语言模型训练方法及装置,所述方法包括:基于各领域数据,分别对预训练大语言模型进行训练,得到各领域的微调模块参数,并将各领域的微调模块参数存储至指定内存;基于目标用户对各领域数据的访问权限,从指定内存加载与访问权限对应目标领域的微调模块参数;将各目标领域的微调模块参数与预训练大语言模型的模型参数合并,得到目标用户对应领域的目标模型。本发明不仅能够获得性能较好的目标模型,而且能够降低模型训练和存储的成本。

Patent Agency Ranking