-
公开(公告)号:CN119025879A
公开(公告)日:2024-11-26
申请号:CN202411515145.5
申请日:2024-10-28
Applicant: 支付宝(杭州)信息技术有限公司 , 清华大学
IPC: G06F18/21 , G06F18/214 , G06N5/04
Abstract: 本说明书实施例公开了一种大模型的安全性测评方法、装置及设备,该方法包括:获取用于对目标大模型进行安全性测评所需使用的测试集,测试集中包括测试样本数据和对应的标签信息;确定测试样本数据中后门触发器的停用词权重比例阈值,基于停用词权重比例阈值对预设的多个初始停用词组中的基准停用词当前所在的初始停用词组进行调整,得到多个目标停用词组;将测试样本数据中包含的当前处于第一目标停用词组的停用词,使用多个目标停用词组中的其它目标停用词组中与停用词相匹配的基准停用词替换,直到停用词权重比例满足预设条件,得到替换后的测试集;基于替换后的测试集对目标大模型进行安全性测评,以判断目标大模型是否存在越狱攻击风险。
-
公开(公告)号:CN117743856A
公开(公告)日:2024-03-22
申请号:CN202311845208.9
申请日:2023-12-28
Applicant: 清华大学 , 支付宝(杭州)信息技术有限公司
IPC: G06F18/214 , G06F18/2415 , G06F18/243 , G06N20/00 , G06Q20/40
Abstract: 本说明书实施例涉及一种训练风险识别模型的方法及装置,方法包括:首先,获取有硬标签的第一样本集,以及无标签的第二样本集,任一样本集包括交易样本,硬标签指示交易是否为风险交易。然后,基于插值法对第一样本集进行样本增强,并使用增强后的第一样本集训练得到第一模型。接下来,将第一样本集和第二样本集构成的样本总集中的各个交易样本输入到第一模型中,得到关于风险预测的软标签。最后,将第一样本集中的交易样本输入到第二模型中,基于硬标签确定第一损失;将样本总集中的交易样本输入到第二模型中,基于软标签确定第二损失;基于第一损失和第二损失所确定的总预测损失,对第二模型进行训练,第二模型用于预测交易是否为风险交易。
-
公开(公告)号:CN116150622B
公开(公告)日:2023-08-11
申请号:CN202310183952.0
申请日:2023-02-17
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F18/214 , G06N20/00 , G06F21/62
Abstract: 本说明书公开了一种模型训练方法、装置、存储介质及电子设备。确定当前迭代过程对应的噪声值,以及基于每个训练样本分别确定出的调整模型参数的梯度,根据各梯度以及预设的第一超参数,分别确定各梯度权重,根据各梯度以及各梯度权重,确定各自适应梯度,基于训练样本确定出的梯度越大则自适应梯度与预设的梯度期望值的差越小,根据噪声值对各各自适应梯度之和加噪,以得到当前迭代过程的批次平均梯度,最后根据批次平均梯度,调整所述待训练模型的参数。可以减少小梯度样本对模型参数影响程度,使得模型训练效果更好,基于训练得到的模型执行业务的结果更准确。
-
公开(公告)号:CN115567371A
公开(公告)日:2023-01-03
申请号:CN202211460171.3
申请日:2022-11-16
Applicant: 支付宝(杭州)信息技术有限公司
IPC: H04L41/0631 , H04L41/142
Abstract: 本说明书公开了一种异常检测方法、装置、设备及可读存储介质,基于每个第一检测模型输出的第一训练样本的第一异常概率,对第一训练样本排序,得到第一训练样本对应于该第一检测模型的次序,针对每个第一训练样本,将该第一训练样本对应于每个第一检测模型的次序进行融合,得到该第一训练样本的第二异常概率作为标签,并根据各第一训练样本及其标签,训练第二检测模型,以根据训练后的第二检测模型,确定待检测事件的异常概率。可见,采用对各第一训练样本对应于第一检测模型的次序进行融合,解决了不同检测模型预测的异常概率分布不同的问题,用融合得到第二异常概率训练第二检测模型,提高了线上异常检测的响应效率和隐私信息的安全性。
-
公开(公告)号:CN117194992B
公开(公告)日:2024-04-19
申请号:CN202311454844.9
申请日:2023-11-01
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F18/214 , G06F18/25 , G06F9/50 , G06N3/0499 , G06N3/08
Abstract: 本说明书公开一种模型训练、任务执行方法、装置、存储介质及设备,中心服务器可以基于各下游任务的共性样本对初始模型进行预训练,得到具有执行各下游任务的基础能力的预训练模型,进而可以通过将预训练模型的模型参数发送给每个下游服务器,以使得每个下游服务器基于本地样本对预训练模型中的调整层进行训练,得到训练后模型,并将训练后模型的调整层的网络参数返回,中心服务器可以根据各下游服务器返回的调整层网络参数,对预训练模型的调整层进行更新,得到目标模型,从而使得可以通过预训练模型的调整层学习到不同下游服务器所私有的本地样本和预训练过程中使用的共性样本之间的潜在联系,进而使得目标模型在下游任务中的性能得到提升。
-
公开(公告)号:CN117540791B
公开(公告)日:2024-04-05
申请号:CN202410013557.2
申请日:2024-01-03
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N3/094 , G06N3/0464 , G06N3/045 , G06N3/044 , G06N3/0475 , G06N3/084 , G06F18/23213 , G06Q20/40
Abstract: 本说明书实施例涉及一种对抗训练的方法及装置,方法包括:首先,获取基于训练集训练的第一模型,训练集中各训练样本包含结构化的特征数据及标签。然后,基于第一模型针对各个训练样本的总预测损失对特征数据的梯度值,确定目标权重向量。接下来,将目标权重向量施加于各训练样本的特征数据,得到各第一结果向量,并构建检索集。最后,基于训练集和检索集对第二模型进行多轮训练;任意一轮训练包括:使用训练集中部分训练样本训练第二模型;基于对抗训练算法与第二模型,确定部分训练样本对应的对抗样本特征;利用对抗样本特征在检索集中进行检索,从而确定各个对抗样本特征的标签,并构建对抗训练集;使用对抗训练集训练第二模型。
-
公开(公告)号:CN117057597A
公开(公告)日:2023-11-14
申请号:CN202310870163.4
申请日:2023-07-14
Applicant: 清华大学 , 支付宝(杭州)信息技术有限公司
IPC: G06Q10/0635 , G06F18/214
Abstract: 本说明书实施例提供了一种风控模型的训练方法和装置。该方法包括:在至少一轮的模型训练中,当前端节点从本地得到本轮模型训练中使用的本地数据;当前端节点利用该本地数据和在之前轮训练出的本地的风控模型,计算并保存梯度信息;当前端节点向各邻居端节点发送当前保存的梯度信息;当前端节点利用各邻居端节点发来的梯度信息,更新当前端节点保存的梯度信息;当前端节点得到在本轮模型训练中梯度同步结束后最终保存的梯度信息;当前端节点利用该最终保存的梯度信息得到本轮训练出的本地的风控模型,直至该风控模型收敛。本说明书实施例能够减少隐私被泄露的风险,并减少对网络资源的占用。
-
公开(公告)号:CN116150622A
公开(公告)日:2023-05-23
申请号:CN202310183952.0
申请日:2023-02-17
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F18/214 , G06N20/00 , G06F21/62
Abstract: 本说明书公开了一种模型训练方法、装置、存储介质及电子设备。确定当前迭代过程对应的噪声值,以及基于每个训练样本分别确定出的调整模型参数的梯度,根据各梯度以及预设的第一超参数,分别确定各梯度权重,根据各梯度以及各梯度权重,确定各自适应梯度,基于训练样本确定出的梯度越大则自适应梯度与预设的梯度期望值的差越小,根据噪声值对各各自适应梯度之和加噪,以得到当前迭代过程的批次平均梯度,最后根据批次平均梯度,调整所述待训练模型的参数。可以减少小梯度样本对模型参数影响程度,使得模型训练效果更好,基于训练得到的模型执行业务的结果更准确。
-
公开(公告)号:CN115828171B
公开(公告)日:2023-05-16
申请号:CN202310142321.4
申请日:2023-02-13
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F18/2415 , G06F21/62
Abstract: 本说明书公开了一种端云协同执行业务的方法、装置、介质及设备,响应于用户操作,确定业务请求,并根据业务请求获取用户数据,确定用户数据中的敏感数据以及非敏感数据。对敏感数据进行特征提取,确定第一特征,将非敏感数据发送到服务器,使服务器对非敏感数据进行特征提取,确定第二特征,接收服务器返回的第二特征。将第一特征与第二特征输入输出层,确定输出结果。对输出结果进行加噪,确定业务请求的加噪输出结果,并将加噪输出结果发送给服务器,使服务器根据加噪输出结果执行业务。使得即使攻击者获取到业务模型以及输出结果,也不能反推出各输出结果对应的用户数据,实现了对用户隐私数据的保护。
-
公开(公告)号:CN115828171A
公开(公告)日:2023-03-21
申请号:CN202310142321.4
申请日:2023-02-13
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F18/2415 , G06F21/62
Abstract: 本说明书公开了一种端云协同执行业务的方法、装置、介质及设备,响应于用户操作,确定业务请求,并根据业务请求获取用户数据,确定用户数据中的敏感数据以及非敏感数据。对敏感数据进行特征提取,确定第一特征,将非敏感数据发送到服务器,使服务器对非敏感数据进行特征提取,确定第二特征,接收服务器返回的第二特征。将第一特征与第二特征输入输出层,确定输出结果。对输出结果进行加噪,确定业务请求的加噪输出结果,并将加噪输出结果发送给服务器,使服务器根据加噪输出结果执行业务。使得即使攻击者获取到业务模型以及输出结果,也不能反推出各输出结果对应的用户数据,实现了对用户隐私数据的保护。
-
-
-
-
-
-
-
-
-