-
公开(公告)号：CN117910540A
公开(公告)日：2024-04-19
申请号：CN202311550868.4
申请日：2023-11-17
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N3/09 , G06N3/0464 , G06F18/214 , G06F18/24
Abstract: 本说明书实施例提供一种保护数据隐私的多方联合训练方法，其中多方各自持有共有样本的不同特征部分，多方之一还持有样本标签。该方法包括：多方各自基于本地样本，采用对比学习确定本地两个嵌入模型各自的第一训练损失；本地样本包括私有样本和共有样本；多方各自计算两个嵌入模型针对各个本地样本的稳定性指标，将其中稳定性更高的嵌入模型针对该本地样本输出的嵌入向量作为标签，确定另一嵌入模型针对该本地样本的第二训练损失；标签方基于两个嵌入模型中的指定模型针对各个共有样本输出的第一嵌入向量，以及其他方各自提供的第一嵌入向量、本地部署的融合模型和样本标签，确定第三训练损失；上述各训练损失用于训练多方各自部署在本地的模型。
-
公开(公告)号：CN117521772A
公开(公告)日：2024-02-06
申请号：CN202311548821.4
申请日：2023-11-20
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N3/09 , G06N3/0464 , G06F18/214 , G06F18/24
Abstract: 本说明书实施例提供一种保护数据隐私的多方联合训练方法及装置，其中多方各自持有共有样本的不同特征部分，该方法应用于多方中还持有样本标签的标签方，包括：利用本地第一嵌入模型处理共有样本，得到第一嵌入向量；利用本地第一预测模型处理第一嵌入向量和其他各方针对共有样本提供的嵌入向量之间的融合向量，得到第一预测结果，并结合样本标签确定第一训练损失；利用本地第二嵌入模型和第二预测模型处理共有样本，得到第二预测结果，并结合样本标签确定第二训练损失；将两个训练损失中的较小值所对应嵌入模型输出的嵌入向量作为标签，确定另一嵌入模型针对该共有样本的第三训练损失；其中确定的各项训练损失用于训练多方各自部署在本地的模型。
-
公开(公告)号：CN115688882A
公开(公告)日：2023-02-03
申请号：CN202211346080.7
申请日：2022-10-31
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N3/0464 , G06N3/044 , G06N3/084 , G06N3/088 , G06F18/25
Abstract: 本说明书实施例提供一种多方联合进行模型训练的方法及装置。其中多方包括拥有样本标签的标签方和拥有样本特征的若干数据方；所述方法应用于其中任意一个数据方，包括：利用本地部署的第一模型处理与多方约定的第一批次样本标识对应的第一批次本地特征，得到第一输出，并将所述第一输出发送给所述标签方；基于若干第二批次本地特征，利用对比学习对所述第一模型进行第一更新；从所述标签方接收回传梯度，其基于各个数据方的第一输出、与所述第一批次样本标识对应的样本标签和所述标签方中部署的目标模型而确定；基于所述回传梯度，对经过所述第一更新的第一模型进行第二更新。如此可实现各方数据的隐私保护，并有效提升训练效率。
-
公开(公告)号：CN115345298A
公开(公告)日：2022-11-15
申请号：CN202210988146.6
申请日：2022-08-17
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种联合更新模型的方法及装置，在训练成员向服务方提供相应的中间张量时，先对相应中间张量进行稀疏化处理，然后对稀疏化后的有效元素进行减少字节数的量化操作，从而以较少的数据量向服务方提供相应中间张量的稀疏化数据。服务方针对接收到的稀疏化数据，先进行反量化操作，恢复出中间张量对应的稀疏张量，并进行后续处理。之后，服务方基于后续处理将与训练成员的中间张量对应的处理张量反馈给各个训练成员，从而由各个训练成员更新本地局部模型。该方式对稀疏化后的中间张量进一步进行量化处理，大大缩减数值的字节数，从而减少通信数据量，缩短通信时间，提高模型训练效率。
-
公开(公告)号：CN115186876A
公开(公告)日：2022-10-14
申请号：CN202210711306.2
申请日：2022-06-22
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种保护数据隐私的两方联合训练业务预测模型的方法及装置。该方法包括：两方各自利用本地部署的表征层处理本方的训练样本的特征部分，得到对应的表征；第二方对两方表征进行融合处理，并利用随机生成的可逆函数处理融合表征，得到混淆表征，以使第一方利用预测层处理此混淆表征，得到混淆预测结果；第二方利用可逆函数的反函数处理混淆预测结果，得到真实预测结果，以使第一方利用此真实预测结果和样本标签计算预测层的梯度和传播至表征层的目标梯度；第二方根据上述反函数以及上述融合处理的对应方式，处理目标梯度，从而确定传播至第一表征层的第一梯度和第二表征层的第二梯度，进而各方根据梯度完成本地模型参数的更新。
-
Patent Agency Ranking
公开(公告)号：CN113052329B
公开(公告)日：2022-05-27
申请号：CN202110390904.X
申请日：2021-04-12
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种基于隐私保护的联合更新业务模型的方法及装置，其中，在一次迭代过程中，服务方向各个数据方提供全局模型参数，以及各个数据方各自与全局模型参数划分的N个参数组的对应关系，由各个数据方各自利用全局模型参数更新本地业务模型，并基于本地业务数据对更新后的本地业务模型进一步更新，以将新的业务模型中各自所对应参数组的模型参数上传至服务方，进而由服务方依次对接收到的各个参数组进行融合，更新全局模型参数。该过程可以减少数据方与服务方的通信压力，避免造成通信阻塞，有利于提高联邦学习的整体训练效率。
-
公开(公告)号：CN113379039B
公开(公告)日：2022-05-17
申请号：CN202110752427.7
申请日：2021-07-02
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书涉及一种模型的训练方法、系统及装置，可用于机器学习过程中的隐私数据保护，所述方法由参与方中的任一训练成员实现，包括：基于自身持有的训练样本进行模型训练，获得模型数据列表；从模型数据列表中的一个或多个卷积核对应的子矩阵中选取若干子矩阵，并确定所选子矩阵在模型数据列表中的第一位置信息；从模型数据列表中除卷积核对应的子矩阵以外的元素中选取若干非卷积核元素，并确定反映选取的非卷积核元素在模型数据列表中的第二位置信息；确定包括第一位置信息以及第二位置信息的传输数据列表，并将其上传至服务器；获取服务器下发的模型数据更新列表，并基于模型数据更新列表进行本地模型更新。
-
公开(公告)号：CN114004363A
公开(公告)日：2022-02-01
申请号：CN202111256451.8
申请日：2021-10-27
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N20/00
Abstract: 本说明书实施例提供一种联合更新模型的方法、装置及系统。通过本说明书实施例提供的方法、装置和系统，基于联合更新模型时的数据复合切分情形，设想将训练成员的数据进行分割，从而构成多个水平切分的子系统，在单个子系统内部，可以包括数据垂直切分的训练成员。这样，数据呈垂直切分的单个子系统通过分布在多个训练成员的训练样本在子系统内部迭代，从而更新待同步参数。而各个子系统之间，可以按照同步条件触发的同步周期进行数据同步。这种方式充分考虑各个训练成员的数据构成，为复杂数据结构下的联合更新模型提供解决方案，有利于扩展联邦学习的应用范围。
-
公开(公告)号：CN113887740A
公开(公告)日：2022-01-04
申请号：CN202111228436.2
申请日：2021-10-21
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种联合更新模型的方法、装置及系统，基于训练成员的数据构成水平切分，且模型在训练成员和服务方切分成两部分的情形，由服务方将服务方切分得到的子模型配置为多个可同步聚合的子模型。这样，在单个训练周期，服务方配置的多个可同步聚合的子模型可以与各个训练成员一一对应，单个训练成员上的子模型和服务方的单个子模型串联相当于联合训练的模型。而服务方在各个子模型中待定参数的梯度或待定参数更新完成后，可以对待定参数的梯度或待定参数进行同步，以聚合为服务方切分得到的子模型。如此，可以大大减少各个训练成员之间计算的相互等待时间，提高联合训练模型的效率。
-
公开(公告)号：CN112364819A
公开(公告)日：2021-02-12
申请号：CN202011364313.7
申请日：2020-11-27
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本发明实施例提供了一种可用于隐私保护的联合训练识别模型的方法及装置，联合训练通过分别维护多个识别模型的多个终端共同实现，多个识别模型的神经网络结构相同，任一识别模型至少包括特征提取层和结果识别层,该方法通过多个终端中任意的第一终端执行，以及包括:获取本地的第一样本集,或包含隐私数据的第一样本集；将其中的样本输入与第一终端对应的第一识别模型，利用特征提取层提取样本的特征,根据样本的特征和识别标签,基于结果识别层确定确定该识别模型的第一梯度；提供第一梯度，并获取平均梯度，平均梯度根据多个识别模型各自对应的梯度而确定；根据平均梯度，更新第一识别模型的特征提取层。
-
-
-
-
-
-
-
-
-
Search Results
116
records
(took 0.041 seconds)
