公开(公告)号：CN117951276A

公开(公告)日：2024-04-30

申请号：CN202410126688.1

申请日：2024-01-30

Applicant: 华南农业大学

Inventor： 邱少健 ,  刘海洋 ,  梁云 ,  黄沛杰 ,  林毅申 ,  陈伟标 ,  林海

IPC: G06F16/332 ,  G06F18/214 ,  G06F18/25 ,  G06N3/045 ,  G06N3/09

Abstract: 本发明公开了一种面向智慧养殖问答的模型温度自适应微调方法，包括下述步骤：基于预设的大语言模型对原始问答数据集进行处理，获取每个样本的创意程度评估值；基于每个样本的问句及其对应的创意程度评估值构建新的数据集；采用Bert模型对问句进行表示，采用处理后数据集对温度模型进行训练，以及对任务特定层进行训练；对不同任务下的新数据集进行LoRA参数微调，分别得到不同的任务的LoRA模块；使用任务感知自注意力调节层，将各个任务特定LoRA模块的输出进行特征融合。本发明利用任务感知自注意力调节层对不同任务的LoRA模块进行特征融合，利用其他任务LoRA模块的权重来提高当前任务的回答质量，可以促使模型学习到一些任务之间的相关性，从而提高性能。