公开(公告)号：CN117852627B

公开(公告)日：2024-06-25

申请号：CN202410247177.5

申请日：2024-03-05

Applicant: 湘江实验室

Inventor： 江金阳 ,  彭一杰 ,  张泽良 ,  张诚 ,  李广昊

IPC: G06N3/098 ,  G06F18/214 ,  G06N3/082 ,  G06N3/084

Abstract: 本发明公开了一种预训练模型微调方法及系统，该方法包括：服务端对医疗预训练全局模型进行预处理，得到具有冻结参数和可调节LoRA参数的医疗预训练全局模型；终端侧将本地医疗任务数据输入至该医疗预训练全局模型中进行计算，得到初始输出结果；利用噪声数据对初始输出结果进行调整，得到最终输出结果；基于最终输出结果，对医疗预训练全局模型进行更新；并上传更新后的医疗预训练全局模型；服务端对所有终端上传的医疗预训练全局模型进行联邦聚合处理，得到最终医疗预训练全局模型。本发明通过联邦学习和梯度估计方法的结合，实现了大型模型的微调，从而获得性能更好的结果，有助于提高模型在各种下游任务中的适用性和效能。

公开(公告)号：CN119988898A

公开(公告)日：2025-05-13

申请号：CN202510484229.5

申请日：2025-04-17

Applicant: 湘江实验室

Inventor： 詹敏 ,  李碧霞 ,  宋金可 ,  彭一杰 ,  颜建军 ,  史庆宇

IPC: G06F18/20 ,  G06F9/50 ,  G06F17/16 ,  G06F17/18 ,  G06F18/21 ,  G06F18/22 ,  G06F18/2321 ,  G06F18/2431

Abstract: 本申请涉及联邦学习技术领域，提供了一种面向算力调度模型训练的数据投毒识别方法及设备，该方法包括：对模型更新进行聚类，得到多个模型更新聚类簇，并生成每个模型更新聚类簇的代表模型；对代表模型进行评分得到每个代表模型的平均评分，并根据所有平均评分将所有代表模型划分为多个良性代表模型和多个疑似毒性代表模型；从疑似毒性代表模型对应的模型更新聚类簇中确定出多个满足良性条件的良性模型更新，并基于所有良性模型更新生成二次良性代表模型；计算每个良性代表模型、每个二次良性代表模型的更新权重；根据所有更新权重和所有模型更新对全局模型进行更新，得到最终全局模型。本申请的方法能够提高算力调度模型训练的安全性和准确性。

公开(公告)号：CN117852627A

公开(公告)日：2024-04-09

申请号：CN202410247177.5

申请日：2024-03-05

Applicant: 湘江实验室

Inventor： 江金阳 ,  彭一杰 ,  张泽良 ,  张诚 ,  李广昊

IPC: G06N3/098 ,  G06F18/214 ,  G06N3/082 ,  G06N3/084

Abstract: 本发明公开了一种预训练模型微调方法及系统，该方法包括：服务端对医疗预训练全局模型进行预处理，得到具有冻结参数和可调节LoRA参数的医疗预训练全局模型；终端侧将本地医疗任务数据输入至该医疗预训练全局模型中进行计算，得到初始输出结果；利用噪声数据对初始输出结果进行调整，得到最终输出结果；基于最终输出结果，对医疗预训练全局模型进行更新；并上传更新后的医疗预训练全局模型；服务端对所有终端上传的医疗预训练全局模型进行联邦聚合处理，得到最终医疗预训练全局模型。本发明通过联邦学习和梯度估计方法的结合，实现了大型模型的微调，从而获得性能更好的结果，有助于提高模型在各种下游任务中的适用性和效能。