公开(公告)号：CN117852627A

公开(公告)日：2024-04-09

申请号：CN202410247177.5

申请日：2024-03-05

Applicant: 湘江实验室

Inventor： 江金阳 ,  彭一杰 ,  张泽良 ,  张诚 ,  李广昊

IPC: G06N3/098 ,  G06F18/214 ,  G06N3/082 ,  G06N3/084

Abstract: 本发明公开了一种预训练模型微调方法及系统，该方法包括：服务端对医疗预训练全局模型进行预处理，得到具有冻结参数和可调节LoRA参数的医疗预训练全局模型；终端侧将本地医疗任务数据输入至该医疗预训练全局模型中进行计算，得到初始输出结果；利用噪声数据对初始输出结果进行调整，得到最终输出结果；基于最终输出结果，对医疗预训练全局模型进行更新；并上传更新后的医疗预训练全局模型；服务端对所有终端上传的医疗预训练全局模型进行联邦聚合处理，得到最终医疗预训练全局模型。本发明通过联邦学习和梯度估计方法的结合，实现了大型模型的微调，从而获得性能更好的结果，有助于提高模型在各种下游任务中的适用性和效能。

公开(公告)号：CN117852627B

公开(公告)日：2024-06-25

申请号：CN202410247177.5

申请日：2024-03-05

Applicant: 湘江实验室

Inventor： 江金阳 ,  彭一杰 ,  张泽良 ,  张诚 ,  李广昊

IPC: G06N3/098 ,  G06F18/214 ,  G06N3/082 ,  G06N3/084

Abstract: 本发明公开了一种预训练模型微调方法及系统，该方法包括：服务端对医疗预训练全局模型进行预处理，得到具有冻结参数和可调节LoRA参数的医疗预训练全局模型；终端侧将本地医疗任务数据输入至该医疗预训练全局模型中进行计算，得到初始输出结果；利用噪声数据对初始输出结果进行调整，得到最终输出结果；基于最终输出结果，对医疗预训练全局模型进行更新；并上传更新后的医疗预训练全局模型；服务端对所有终端上传的医疗预训练全局模型进行联邦聚合处理，得到最终医疗预训练全局模型。本发明通过联邦学习和梯度估计方法的结合，实现了大型模型的微调，从而获得性能更好的结果，有助于提高模型在各种下游任务中的适用性和效能。