公开(公告)号：CN118535887B

公开(公告)日：2024-10-08

申请号：CN202411008196.9

申请日：2024-07-26

Applicant: 之江实验室

Inventor： 李霄涵 ,  吴慧雯 ,  张德义 ,  吴佳飞 ,  刘哲

IPC: G06F18/21 ,  G06F16/16 ,  G06F16/172 ,  G06N3/045

Abstract: 本发明公开了一种大语言模型高效微调测评方法和系统，包括：文件存储模块，用于存储文件并支持通过文件路径对存储文件内容进行增加、删除、查询和修改操作，文件存储模块包括基础模型区、微调模型区、基线数据区、过程存储区和结果存储区；结构化存储模块，采用关系型数据库存储测评相关的结构化数据，结构化数据包括模型信息、基线数据信息、模板信息、流水线信息和任务信息；测评程序模块，用于调用文件存储模块和结构化存储模块进行测评系统的执行，测评程序模块包括系统信息配置功能、执行与调度功能和测评信息管理功能。本发明能够有效管理微调模型多版本和对应测评结果，将模型测评工作流程化，提高测评构建效率。

公开(公告)号：CN118394889A

公开(公告)日：2024-07-26

申请号：CN202410806598.7

申请日：2024-06-21

Applicant: 之江实验室

Inventor： 吴慧雯 ,  李霄涵 ,  张德义 ,  吴佳飞 ,  赵朴凝 ,  刘哲

IPC: G06F16/33 ,  G06F18/214 ,  G06F21/62 ,  G06N3/0455 ,  G06N3/0464

Abstract: 本发明公开了一种基于梯度压缩的大语言模型联邦微调方法和装置，方法包括以下步骤：基于大语言模型微调中产生的梯度张量构建具有时间序列关系的原始数据集并通过自编码器推理得到重构梯度数据集，构建重构损失函数对自编码器进行优化；在服务器端将大语言模型的基座模型初始化为全局模型，服务器端将全局模型更新至客户端，在客户端利用预训练编码器得到压缩后的梯度，在服务器端利用预训练解码器将压缩后的梯度进行解码和聚合后更新全局模型。本发明能够在保证数据隐私保护的同时实现大语言模型微调效率的提升以及计算资源需求的降低，适用于面向科学计算的大模型微调和训练过程中通信优化提高以及隐私保护增强等应用场景。

公开(公告)号：CN118535887A

公开(公告)日：2024-08-23

申请号：CN202411008196.9

申请日：2024-07-26

Applicant: 之江实验室

Inventor： 李霄涵 ,  吴慧雯 ,  张德义 ,  吴佳飞 ,  刘哲

IPC: G06F18/21 ,  G06F16/16 ,  G06F16/172 ,  G06N3/045

Abstract: 本发明公开了一种大语言模型高效微调测评方法和系统，包括：文件存储模块，用于存储文件并支持通过文件路径对存储文件内容进行增加、删除、查询和修改操作，文件存储模块包括基础模型区、微调模型区、基线数据区、过程存储区和结果存储区；结构化存储模块，采用关系型数据库存储测评相关的结构化数据，结构化数据包括模型信息、基线数据信息、模板信息、流水线信息和任务信息；测评程序模块，用于调用文件存储模块和结构化存储模块进行测评系统的执行，测评程序模块包括系统信息配置功能、执行与调度功能和测评信息管理功能。本发明能够有效管理微调模型多版本和对应测评结果，将模型测评工作流程化，提高测评构建效率。