公开(公告)号：CN118504526A

公开(公告)日：2024-08-16

申请号：CN202410573471.5

申请日：2024-05-10

Applicant: 复旦大学

Inventor： 高跃 ,  陈哲 ,  林政 ,  方子涵 ,  胡渲杰

IPC: G06F40/16 ,  G06N3/0495 ,  G06N3/098 ,  G06N3/063

Abstract: 本发明提供一种参数高效大语言微调联邦学习框架，包括以下步骤：对不同边缘云的LoRA适配器进行建模；根据不同的权重在LoRA适配器上具有不同的平均性能，所以利用奇异值来量化权重的重要性，因此在每轮使用N个边缘云独立训练LoRA适配器之前，对每个可训练权重的LoRA适配器中的BA矩阵使用矩阵奇异值进行分解；根据权重的重要性对异构LoRA适配器进行配置；使用不同的量化位数对预训练模型进行量化，并且仅在执行矩阵乘法时对预训练模型进行高精度的反量化，其中，根据边缘云的内存预算将预训练模型量化为最大量化位数；本发明具有以下有益效果：本发明确定出了最佳的微调模型结构，以提高微调LLM的性能，并适应异构和资源受限的边缘云。

公开(公告)号：CN119578545A

公开(公告)日：2025-03-07

申请号：CN202411629653.6

申请日：2024-11-15

Applicant: 复旦大学

Inventor： 高跃 ,  陈哲 ,  林政 ,  方子涵 ,  胡渲杰

IPC: G06N5/04 ,  G06N3/096 ,  G06N3/098 ,  G06N3/082 ,  G06N3/084

Abstract: 本发明公开了一种基于参数高效微调的大型语言模型训练方法。大型语言模型训练方法包括：针对训练对象的大型语言模型，将大型语言模型划分为客户端预训练模型和服务器端预训练模型两部分；联合客户端预训练模型和服务器端预训练模型共同进行并行协作训练，在训练过程中，采用参数高效微调技术来对客户端预训练模型和服务器端预训练模型进行并行训练；待训练完成后，采用模型聚合的方法，将客户端预训练模型和服务器端预训练模型合并起来；重复上述步骤，直至作为训练对象的大型语言模型收敛为止。本发明的大型语言模型训练方法基于分割联邦学习框架，并且结合了FL的并行训练优势和SL的模型分割优势，大大提高了训练效率。

公开(公告)号：CN115632912A

公开(公告)日：2023-01-20

申请号：CN202211133290.8

申请日：2022-09-17

Applicant: 复旦大学

Inventor： 林政 ,  王礼锋

IPC: H04L25/02 ,  H04B10/90

Abstract: 本发明属于太赫兹信道估计技术领域，具体为一种基于生成对抗网络的高频信道估计方法。本发明利用漏波天线的空间频谱耦合特性，使得设计的新型神经网络架构对太赫兹车辆到基础设施(V2I)网络中的多普勒效应具有不敏感性和鲁棒性。生成器生成与真实样本尽可能相似的估计样本以欺骗判别器，而判别器学习辨别由生成器生成的估计样本和真实样本。在训练收敛之后，将生成器作为信道估计器。信道估计器能够使得每个车辆能够根据接收信号功率强度(RSS)预测信道功率增益。本发明具有普适性，能够准确估计信道功率增益，并具有较快的收敛速度。

公开(公告)号：CN117650833A

公开(公告)日：2024-03-05

申请号：CN202311687480.9

申请日：2023-12-11

Applicant: 复旦大学

Inventor： 高跃 ,  陈哲 ,  林政 ,  方子涵 ,  胡渲杰

IPC: H04B7/185 ,  G06N3/098

Abstract: 本发明将联邦学习模型与低地球轨道卫星网络进行了结合，提出了一种在低地球轨道卫星网络上实现联邦学习的通用联邦学习框架FedSN。FedSN由两个主要组成部分组成：子结构方案和伪同步模型聚合。子结构方案包括子结构定制化、分发和聚合方法，分别解决资源限制、训练不平衡和组内模型陈旧等问题。伪同步模型聚合策略将模型权重之间的差异纳入到权重函数中，并开发基于缓冲区的聚合方法，以减轻组间模型陈旧问题。广泛的实验结果表明，FedSN框架优于最先进的基准。本发明展示提升了在LEO卫星网络上部署FedSN的潜力。