公开(公告)号：CN116705008A

公开(公告)日：2023-09-05

申请号：CN202310852162.7

申请日：2023-07-11

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 黄炜 ,  王莹桂 ,  王磊

IPC: G10L15/06 ,  G10L15/16 ,  G10L15/18 ,  G10L17/04 ,  G10L17/18 ,  G06N3/0455 ,  G06N3/094 ,  G06N3/084 ,  G06F21/62

Abstract: 本说明书实施例披露一种保护隐私的意图理解模型的训练方法，其中意图理解模型包括语音编码器和第一解码器。该方法中任一轮次迭代训练包括：对于当前批次语音样本中任一语音样本，利用语音编码器和多个解码器中与该样本的标签所属任务类型对应的解码器处理该样本，得到语音预测结果，该多个解码器包括第一解码器和用于执行若干隐私任务的若干第二解码器；以减小各个语音预测结果和对应的语音样本标签之间的差距为目标，对语音编码器和多个解码器进行第一训练；再以增大各种隐私任务对应的语音预测结果和语音样本标签之间的差距，以及减小第一解码器输出的语音预测结果和语音样本标签之间的差距为目标，对经过第一训练的意图理解模型进行第二训练。

公开(公告)号：CN118228304A

公开(公告)日：2024-06-21

申请号：CN202410303969.X

申请日：2024-03-15

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 陈惠敏 ,  黄炜 ,  王莹桂 ,  王磊

IPC: G06F21/62 ,  H04L9/40 ,  G06F21/60 ,  G06F8/65 ,  G06F8/60 ,  G06N20/00 ,  G06F17/16

Abstract: 本说明书实施例提供一种实现隐私保护的多方协同更新大模型的方法及系统，在协同更新大模型的方法中，各参与方利用本地样本集，对预训练后具有基础参数集的基础模型进行微调，其中包括，更新参数量远小于基础参数集的参数组。各参与方将更新后参数组的参数组合结果进行加密，并将加密结果提供给服务器。服务器将n个参与方发送的n份加密结果加载到其可信执行环境TEE中，在TEE中，解密n份加密结果，得到n份参数组合结果，以及基于预先部署在TEE中的基础参数集，以及n份参数组合结果，确定n个参与方协同更新的大模型。

公开(公告)号：CN118153088A

公开(公告)日：2024-06-07

申请号：CN202410072296.1

申请日：2024-01-17

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 黄炜 ,  王莹桂 ,  余超凡 ,  周爱辉 ,  王磊

IPC: G06F21/62 ,  G06F21/60 ,  G06N3/045 ,  G06N3/08

Abstract: 本说明书实施例提供一种基于隐私保护的联合训练大语言模型的方法、系统及装置，该大语言模型包括，第一部分网络和第二部分网络，第一部分网络设置于至少两个客户端中各客户端的第一TEE且包括待调整的第一参数；第二部分网络设置于各客户端的第一REE且参数固定；方法包括：客户端分别在第一TEE和第一REE中，通过第一部分网络和第二部分网络处理私有样本，得到预测数据；在第一TEE中，基于预测数据确定各第一参数对应的更新梯度，并对其进行加密，将更新梯度密文发送至服务端；在第一TEE中，从服务端获取其基于至少两个客户端发送的更新梯度密文进行聚合所得的各第一参数对应的聚合梯度；在第一TEE中，基于各第一参数对应的聚合梯度，更新各第一参数。

公开(公告)号：CN117910042A

公开(公告)日：2024-04-19

申请号：CN202410072309.5

申请日：2024-01-17

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 黄炜 ,  王莹桂 ,  余超凡 ,  周爱辉 ,  王磊

IPC: G06F21/62 ,  G06F21/60 ,  G06N3/045 ,  G06N3/08

Abstract: 本说明书实施例提供一种基于隐私保护的联合训练大语言模型的方法、系统及装置，该大语言模型被划分为第一部分网络和第二部分网络，第一部分网络部署于各客户端且参数固定，第二部分网络部署于服务端的TEE中；方法包括：服务端从各个客户端接收其各自的数据集密文，单个数据集密文为，客户端对其私有样本的嵌入特征和标签数据进行加密所得；嵌入特征由该客户端所部署的第一部分网络处理所得；在TEE中，执行模型更新，该模型更新包括：解密各数据集密文，得到各数据集明文；利用各数据集明文中的各嵌入特征，通过第二部分网络，得到各私有样本对应的预测数据；利用各私有样本对应的预测数据和标签数据之间的差异，调整第二部分网络中的指定参数。

公开(公告)号：CN117909471A

公开(公告)日：2024-04-19

申请号：CN202410068425.X

申请日：2024-01-17

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 黄炜 ,  王莹桂 ,  余超凡 ,  周爱辉 ,  王磊

IPC: G06F16/332 ,  G06F16/338 ,  G06F21/62 ,  G06F21/60 ,  G06N3/045

Abstract: 本说明书实施例提供一种基于大语言模型的数据处理方法及装置，应用于配置有TEE和REE的服务端，该大语言模型包括若干网络层，单个网络层包括部署于TEE的若干处理子层及其对应的部署于REE的线性子层；该方法包括：在TEE中，利用当前网络层中的当前处理子层处理输入其中的第一特征，得到第二特征，第一特征基于客户端发送的查询数据密文得到；在TEE中，利用当前加密矩阵，通过线性加密操作，处理第二特征，得到第二特征密文；在REE中，利用当前处理子层对应的当前线性子层，处理第二特征密文，得到第三特征密文；在TEE中，利用当前加密矩阵，通过线性加密操作的逆操作，处理第三特征密文，得到第三特征，以基于第三特征，得到查询数据密文对应的查询结果。