-
公开(公告)号：CN118364898B
公开(公告)日：2024-09-03
申请号：CN202410783397.X
申请日：2024-06-18
Applicant: 湘江实验室
Abstract: 本发明实施例中提供了一种基于相互知识转移的联邦学习优化方法，属于计算技术领域，具体包括：存储大模型对应的数据集；在中央服务器通过知识蒸馏将大模型的知识迁移至蒸馏后的学生模型上；将学生模型下发给联邦系统的本地客户端；得到本轮训练后的一代本地模型；通过相互知识转移技术得到该本地客户端本轮训练的二代本地模型；服务器将本地客户端上传的模型进行模型聚合，得到本轮训练的全局模型；将上一轮训练后的全局模型再次下发给联邦系统的各个本地客户端，本地客户端再次利用本地数据集训练本轮的本地模型，进行迭代训练，直至最后一轮训练完成后的全局模型收敛，结束训练过程。通过本发明的方案，提高了模型性能、泛化能力和安全性。
-
Patent Agency Ranking
公开(公告)号：CN117236421B
公开(公告)日：2024-03-12
申请号：CN202311512843.5
申请日：2023-11-14
Applicant: 湘江实验室
Abstract: 本发明实施例中提供了一种基于联邦知识蒸馏的大模型训练方法，属于计算技术领域，具体包括：步骤1，将预设机构中的数据集联合，构建联邦大模型系统；步骤2，在联邦大模型系统中的服务器中部署一个知识蒸馏，以用户的本地数据训练出来的模型参数作为输入，训练得到一个教师模型，在知识蒸馏的控制下使用教师模型的输出和本地数据的真实标签训练学生模型；步骤3，将训练好的学生模型通过服务器发送给小机构的客户端；步骤4，根据小机构的数据量和训练需要，结合学生模型确定训练方案进行训练，得到目标模型。通过本发明的方案，提高了训练效率和安全性。
-
公开(公告)号：CN118364898A
公开(公告)日：2024-07-19
申请号：CN202410783397.X
申请日：2024-06-18
Applicant: 湘江实验室
Abstract: 本发明实施例中提供了一种基于相互知识转移的联邦学习优化方法，属于计算技术领域，具体包括：存储大模型对应的数据集；在中央服务器通过知识蒸馏将大模型的知识迁移至蒸馏后的学生模型上；将学生模型下发给联邦系统的本地客户端；得到本轮训练后的一代本地模型；通过相互知识转移技术得到该本地客户端本轮训练的二代本地模型；服务器将本地客户端上传的模型进行模型聚合，得到本轮训练的全局模型；将上一轮训练后的全局模型再次下发给联邦系统的各个本地客户端，本地客户端再次利用本地数据集训练本轮的本地模型，进行迭代训练，直至最后一轮训练完成后的全局模型收敛，结束训练过程。通过本发明的方案，提高了模型性能、泛化能力和安全性。
-
公开(公告)号：CN118364897B
公开(公告)日：2024-09-03
申请号：CN202410765183.X
申请日：2024-06-14
Applicant: 湘江实验室
IPC: G06N3/098 , G06N3/0464 , G06N3/0495 , G06N3/082 , G06N5/01 , G06V10/82
Abstract: 本发明提供了一种基于混合精度量化与模拟退火剪枝的联邦学习训练方法，通过中央服务器对原始全局模型进行初始化和量化处理后与训练任务同时下发至多个本地工业设备进行反量化处理并通过本地工业产品图像进行训练，得到本地模型；在每个本地工业设备对本地模型进行混合精度量化和剪枝，得到量化损失函数和剪枝后的损失函数；每个本地工业设备根据量化损失函数和剪枝后的损失函数计算综合损失对本地模型进行迭代更新后上传至中央服务器进行反量化处理并聚合得到是否满足预设训练条件的全局模型；若是，则训练结束；否则，将全局模型作为原始全局模型，并返回执行进行初始化和量化处理；有效提升了联邦学习整体的通信和数据传输效率。
-
公开(公告)号：CN118364897A
公开(公告)日：2024-07-19
申请号：CN202410765183.X
申请日：2024-06-14
Applicant: 湘江实验室
IPC: G06N3/098 , G06N3/0464 , G06N3/0495 , G06N3/082 , G06N5/01 , G06V10/82
Abstract: 本发明提供了一种基于混合精度量化与模拟退火剪枝的联邦学习训练方法，通过中央服务器对原始全局模型进行初始化和量化处理后与训练任务同时下发至多个本地工业设备进行反量化处理并通过本地工业产品图像进行训练，得到本地模型；在每个本地工业设备对本地模型进行混合精度量化和剪枝，得到量化损失函数和剪枝后的损失函数；每个本地工业设备根据量化损失函数和剪枝后的损失函数计算综合损失对本地模型进行迭代更新后上传至中央服务器进行反量化处理并聚合得到是否满足预设训练条件的全局模型；若是，则训练结束；否则，将全局模型作为原始全局模型，并返回执行进行初始化和量化处理；有效提升了联邦学习整体的通信和数据传输效率。
-
公开(公告)号：CN117236421A
公开(公告)日：2023-12-15
申请号：CN202311512843.5
申请日：2023-11-14
Applicant: 湘江实验室
Abstract: 本发明实施例中提供了一种基于联邦知识蒸馏的大模型训练方法，属于计算技术领域，具体包括：步骤1，将预设机构中的数据集联合，构建联邦大模型系统；步骤2，在联邦大模型系统中的服务器中部署一个知识蒸馏，以用户的本地数据训练出来的模型参数作为输入，训练得到一个教师模型，在知识蒸馏的控制下使用教师模型的输出和本地数据的真实标签训练学生模型；步骤3，将训练好的学生模型通过服务器发送给小机构的客户端；步骤4，根据小机构的数据量和训练需要，结合学生模型确定训练方案进行训练，得到目标模型。通过本发明的方案，提高了训练效率和安全性。
-
-
-
-
-
Search Results
6
records
(took 0.016 seconds)
