公开(公告)号：CN117910592A

公开(公告)日：2024-04-19

申请号：CN202311714535.0

申请日：2023-12-13

Applicant: 北京大学

Inventor： 崔斌 ,  符芳诚 ,  王煊宇

IPC: G06N20/00 ,  G06N3/084 ,  G06N3/04

Abstract: 本发明公开一种数据隐私保护的纵向联邦学习方法、装置及系统，该方法包括：纵向联邦学习的前向传播、训练顶层模型以生成反向偏导、对反向偏导进行扰动和基于扰动后反向偏导完成底层模型的反向传播四个阶段，其中，对反向偏导进行扰动的阶段又包括了分布建模、计算扰动和添加扰动。本发明有效解决现有纵向联邦神经网络模型训练中标签保护方案所存在的问题。

公开(公告)号：CN119558371A

公开(公告)日：2025-03-04

申请号：CN202411501855.2

申请日：2024-10-25

Applicant: 北京大学

Inventor： 崔斌 ,  葛浩 ,  符芳诚 ,  李昊洋 ,  王煊宇 ,  林晟 ,  赵通

IPC: G06N3/08 ,  G06N3/063 ,  G06N3/0455 ,  G06F9/50

Abstract: 本发明公开一种支持并行热切换的大模型训练方法及系统，属于大模型训练技术领域。所述方法包括：生成一逻辑计算图，所述逻辑计算图用于表示多组不同的并行策略组合；编译所述逻辑计算图，生成多个可执行计算图；其中，每一个可执行计算图对应一组并行策略组合；在多个可执行计算图中选取用于初始化大模型状态的初始化图，并根据任两组并行策略组合之间热切换代价，编排可执行计算图之间的执行顺序；基于所述初始化图以及可执行计算图之间的执行顺序进行大模型的训练。本发明不仅可以保证每个分组内的序列计算量/工作负载大致接近，还可以使得并行策略能够在模型训练过程中动态地切换，并正常完成模型的梯度累积和更新。