公开(公告)号：CN118228304A

公开(公告)日：2024-06-21

申请号：CN202410303969.X

申请日：2024-03-15

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 陈惠敏 ,  黄炜 ,  王莹桂 ,  王磊

IPC: G06F21/62 ,  H04L9/40 ,  G06F21/60 ,  G06F8/65 ,  G06F8/60 ,  G06N20/00 ,  G06F17/16

Abstract: 本说明书实施例提供一种实现隐私保护的多方协同更新大模型的方法及系统，在协同更新大模型的方法中，各参与方利用本地样本集，对预训练后具有基础参数集的基础模型进行微调，其中包括，更新参数量远小于基础参数集的参数组。各参与方将更新后参数组的参数组合结果进行加密，并将加密结果提供给服务器。服务器将n个参与方发送的n份加密结果加载到其可信执行环境TEE中，在TEE中，解密n份加密结果，得到n份参数组合结果，以及基于预先部署在TEE中的基础参数集，以及n份参数组合结果，确定n个参与方协同更新的大模型。

公开(公告)号：CN118152808A

公开(公告)日：2024-06-07

申请号：CN202410310852.4

申请日：2024-03-15

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 陈惠敏 ,  王莹桂 ,  王磊

IPC: G06F18/214 ,  G06F18/24 ,  G06N3/0455 ,  G06N3/0475 ,  G06N3/094 ,  G06Q10/04 ,  G06F18/22 ,  G06F18/25 ,  G06F21/62

Abstract: 本说明书实施例提供了一种双语言模型的训练方法及装置。语言模型包括干净语言模型和对应的对抗语言模型。其中，用于进行模型训练的训练集中包含多组文本样本，文本样本组包含具有相同真实标签的干净样本和对抗样本。采用干净样本及其真实标签对干净语言模型进行更新，采用对抗样本及其真实标签对对抗语言模型进行更新。接着，通过干净语言模型提取文本样本组中样本的第一文本表征，通过对抗语言模型提取文本样本组中样本的第二文本表征；基于第一文本表征和第二文本表征，确定用于进行双模型对齐的预测损失，基于预测损失更新双语言模型。文本样本中包含隐私数据，在对文本样本进行处理时应进行隐私保护。