-
公开(公告)号：CN117910042A
公开(公告)日：2024-04-19
申请号：CN202410072309.5
申请日：2024-01-17
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种基于隐私保护的联合训练大语言模型的方法、系统及装置，该大语言模型被划分为第一部分网络和第二部分网络，第一部分网络部署于各客户端且参数固定，第二部分网络部署于服务端的TEE中；方法包括：服务端从各个客户端接收其各自的数据集密文，单个数据集密文为，客户端对其私有样本的嵌入特征和标签数据进行加密所得；嵌入特征由该客户端所部署的第一部分网络处理所得；在TEE中，执行模型更新，该模型更新包括：解密各数据集密文，得到各数据集明文；利用各数据集明文中的各嵌入特征，通过第二部分网络，得到各私有样本对应的预测数据；利用各私有样本对应的预测数据和标签数据之间的差异，调整第二部分网络中的指定参数。
-
公开(公告)号：CN117909471A
公开(公告)日：2024-04-19
申请号：CN202410068425.X
申请日：2024-01-17
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/332 , G06F16/338 , G06F21/62 , G06F21/60 , G06N3/045
Abstract: 本说明书实施例提供一种基于大语言模型的数据处理方法及装置，应用于配置有TEE和REE的服务端，该大语言模型包括若干网络层，单个网络层包括部署于TEE的若干处理子层及其对应的部署于REE的线性子层；该方法包括：在TEE中，利用当前网络层中的当前处理子层处理输入其中的第一特征，得到第二特征，第一特征基于客户端发送的查询数据密文得到；在TEE中，利用当前加密矩阵，通过线性加密操作，处理第二特征，得到第二特征密文；在REE中，利用当前处理子层对应的当前线性子层，处理第二特征密文，得到第三特征密文；在TEE中，利用当前加密矩阵，通过线性加密操作的逆操作，处理第三特征密文，得到第三特征，以基于第三特征，得到查询数据密文对应的查询结果。
-
公开(公告)号：CN113052323B
公开(公告)日：2023-05-23
申请号：CN202110306735.7
申请日：2021-03-23
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例公开了一种基于联邦学习的模型训练方法、装置和电子设备。所述方法包括：利用以下步骤进行迭代处理，直至满足迭代结束条件：接收多个参与方上传的第一模型参数信息及其对应的模型性能；以接收的第一模型参数信息为初始种群中的个体，以接收的模型性能为初始种群中个体的适应度，根据适应度，对所述初始种群中的个体进行遗传操作，得到优化种群；其中，所述优化种群中的个体用于表示第二模型参数信息；向多个参与方发送第二模型参数信息。本说明书实施例可以提高模型训练效率。
-
公开(公告)号：CN113159316B
公开(公告)日：2022-05-17
申请号：CN202110379664.3
申请日：2021-04-08
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例中提供了一种基于隐私保护的模型训练方法、进行预测业务的方法及装置。模型训练方法用于对经过预训练的业务预测模型进行基于隐私保护的增强训练，该业务预测模型包括第1至第n个网络层，该方法应用于包括可信执行环境和非可信执行环境的模型训练方，该方法包括：在可信执行环境中，通过增强卷积层对来自数据提供方并且对应于样本数据的变形数据执行预设可信计算，预设可信计算对变形数据进行预设处理以得到计算结果，该计算结果与利用第1个网络层对样本数据进行处理的结果等同；在非可信执行环境中，根据计算结果和样本数据对应的标签更新第2至第n个网络层的参数。
-
公开(公告)号：CN113378982A
公开(公告)日：2021-09-10
申请号：CN202110752725.6
申请日：2021-07-02
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例公开了一种图像处理模型的训练方法和系统。其中，该方法包括：获取第一样本图像及其标签；其中，第一样本图像来自于隐私数据集；获取第一样本图像的多个特征图；基于与多个特征图一一对应的能量系数从第一样本图像的多个特征图中筛选出目标特征图；能量系数通过使用第二样本图像及其标签对第一模型进行训练获得，第二样本图像来自公开数据集；对目标特征图进行脱敏处理，获得用于表征第一样本图像的脱敏图像数据；将脱敏图像数据作为输入特征输入图像处理模型，得到处理结果；调整图像处理模型的参数，以减小处理结果与标签之间的差异。
-
Patent Agency Ranking
公开(公告)号：CN111931876A
公开(公告)日：2020-11-13
申请号：CN202011082434.2
申请日：2020-10-12
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书一个或多个实施例涉及一种用于分布式模型训练的目标数据方筛选方法和系统，所述方法包括：从任务方获取训练任务信息；所述训练任务信息包括待预训练模型信息以及待训练目标模型信息；接收来自至少一个数据方的接受任务指示，得到备选数据方集合；将所述待预训练模型信息下发给所述备选数据方集合中的各数据方；获取所述各数据方的预训练模型；其中，所述各数据方的预训练模型是基于自身持有的训练样本以及所述待预训练模型信息进行模型训练得到的；获取各预训练模型的性能指标参数；至少基于各预训练模型的性能指标参数，从备选数据方集合中确定一个或多个目标数据方；将所述待训练目标模型信息下发给各目标数据方。
-
公开(公告)号：CN118803164A
公开(公告)日：2024-10-18
申请号：CN202410772693.X
申请日：2024-06-14
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种加密隐私图像的方法及装置，为了降低加密密钥的数量，打破密钥数量和用户数量的强线性关系，提出了新的密钥匹配机制。简单来说，可以将用户按照索引分组，各个索引分别对应各个密钥，针对待处理的当前隐私图像，根据其相应特征向量各个元素之间的大小关系为其确定所对应的索引，从而获取相应的加密密钥进行加密。这种实施方式可以降低密钥的生成数量，从而降低分配密钥的内存消耗。
-
公开(公告)号：CN118333139A
公开(公告)日：2024-07-12
申请号：CN202410461861.3
申请日：2024-04-16
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供了一种保护隐私的业务预测模型训练方法、装置及系统。在任意一轮联合训练中，成员设备采用多步迭代对本地模型进行训练，任意一步迭代训练包括：基于裁剪阈值确定初始模型参数是否超出预设空间，如果超过则减小学习率，利用本地数据通过本地模型进行预测，基于预测结果确定第一梯度；基于第一梯度与减小后学习率确定减小后第一梯度，从而对初始模型参数进行更新，得到本步迭代的更新后模型参数。在多步迭代执行之后，该成员设备可以获取到更新后模型参数，并采用基于裁剪阈值进行的差分隐私操作，确定更新后模型参数对应的加密模型数据。多个成员设备基于各自的加密模型数据，通过设备之间的数据交互进行本轮联合训练。
-
公开(公告)号：CN118152808A
公开(公告)日：2024-06-07
申请号：CN202410310852.4
申请日：2024-03-15
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F18/214 , G06F18/24 , G06N3/0455 , G06N3/0475 , G06N3/094 , G06Q10/04 , G06F18/22 , G06F18/25 , G06F21/62
Abstract: 本说明书实施例提供了一种双语言模型的训练方法及装置。语言模型包括干净语言模型和对应的对抗语言模型。其中，用于进行模型训练的训练集中包含多组文本样本，文本样本组包含具有相同真实标签的干净样本和对抗样本。采用干净样本及其真实标签对干净语言模型进行更新，采用对抗样本及其真实标签对对抗语言模型进行更新。接着，通过干净语言模型提取文本样本组中样本的第一文本表征，通过对抗语言模型提取文本样本组中样本的第二文本表征；基于第一文本表征和第二文本表征，确定用于进行双模型对齐的预测损失，基于预测损失更新双语言模型。文本样本中包含隐私数据，在对文本样本进行处理时应进行隐私保护。
-
公开(公告)号：CN117557852A
公开(公告)日：2024-02-13
申请号：CN202311560311.9
申请日：2023-11-20
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06V10/764 , G06V10/774 , G06V10/82 , G06N3/047 , G06N3/09
Abstract: 本说明书实施例提供一种图像识别模型的隐私泄露风险测评方法及装置，在线上图像识别模型不存在分类器及样本标签的情况下，通过借鉴模型训练架构，使用其他分类器预测模拟攻击图像的类别标签，以使得测评能够有效进行。进而，基于预测的类别标签，可以比较模拟攻击图像与相应类别下的样本图像的相似性，从而确定攻击结果。基于多个模拟攻击图像的攻击结果的统计结果，可以生成对图像识别模型的隐私泄露风险测评结果。如此，可以提高对图像识别模型隐私泄露风险测评的有效性。
-
-
-
-
-
-
-
-
-
Search Results
45
records
(took 0.04 seconds)
