-
公开(公告)号：CN118800219A
公开(公告)日：2024-10-18
申请号：CN202310400899.5
申请日：2023-04-14
Applicant: 复旦大学
Abstract: 本发明提供了一种面向预训练语言模型微调的参数高效型适配器微调方法，具有这样的特征，包括以下步骤：步骤S1，将预训练语言模型中除分类器模块外的其他参数进行冻结；步骤S2，根据训练数据集和给定下游任务对分类器模块进行反向传播和梯度更新，得到训练好的分类器模块；步骤S3，在预训练语言模型的每层自注意力的后面分别插入适配器；步骤S4，将预训练语言模型的各个适配器和归一化模块解冻，并将其他参数冻结；步骤S5，根据训练数据集对各个适配器和归一化模块进行微调，得到微调好的预训练语言模型；步骤S6，将待分类数据输入预训练语言模型得到分类结果。总之，本方法能够提高预训练语言模型微调的参数效率。
Search Results
1
records
(took 0.013 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
