-
公开(公告)号：CN117194992B
公开(公告)日：2024-04-19
申请号：CN202311454844.9
申请日：2023-11-01
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F18/214 , G06F18/25 , G06F9/50 , G06N3/0499 , G06N3/08
Abstract: 本说明书公开一种模型训练、任务执行方法、装置、存储介质及设备，中心服务器可以基于各下游任务的共性样本对初始模型进行预训练，得到具有执行各下游任务的基础能力的预训练模型，进而可以通过将预训练模型的模型参数发送给每个下游服务器，以使得每个下游服务器基于本地样本对预训练模型中的调整层进行训练，得到训练后模型，并将训练后模型的调整层的网络参数返回，中心服务器可以根据各下游服务器返回的调整层网络参数，对预训练模型的调整层进行更新，得到目标模型，从而使得可以通过预训练模型的调整层学习到不同下游服务器所私有的本地样本和预训练过程中使用的共性样本之间的潜在联系，进而使得目标模型在下游任务中的性能得到提升。
-
公开(公告)号：CN117540791B
公开(公告)日：2024-04-05
申请号：CN202410013557.2
申请日：2024-01-03
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N3/094 , G06N3/0464 , G06N3/045 , G06N3/044 , G06N3/0475 , G06N3/084 , G06F18/23213 , G06Q20/40
Abstract: 本说明书实施例涉及一种对抗训练的方法及装置，方法包括：首先，获取基于训练集训练的第一模型，训练集中各训练样本包含结构化的特征数据及标签。然后，基于第一模型针对各个训练样本的总预测损失对特征数据的梯度值，确定目标权重向量。接下来，将目标权重向量施加于各训练样本的特征数据，得到各第一结果向量，并构建检索集。最后，基于训练集和检索集对第二模型进行多轮训练；任意一轮训练包括：使用训练集中部分训练样本训练第二模型；基于对抗训练算法与第二模型，确定部分训练样本对应的对抗样本特征；利用对抗样本特征在检索集中进行检索，从而确定各个对抗样本特征的标签，并构建对抗训练集；使用对抗训练集训练第二模型。
-
公开(公告)号：CN119046174B
公开(公告)日：2025-05-16
申请号：CN202411535888.9
申请日：2024-10-30
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F11/3604 , G06F18/20 , G06V10/40 , G06F40/126 , G06N3/0455 , G06N3/08
Abstract: 本说明书公开了一种模型训练以及页面检测方法、装置、介质及设备。获取样本页面图像，样本页面图像对应的导航文本以及标签文本。将样本页面图像与导航文本输入到预设的大语言模型，以使大语言模型根据导航文本，确定输出文本，输出文本中包含有目标控件在页面中所在位置的预测坐标表征。将预测坐标表征输入到待训练的坐标解码器，得到目标控件在页面中所在位置的预测坐标。根据预测坐标与实际页面坐标之间的差异，确定综合损失值，以根据综合损失值，对坐标解码器进行训练。使得训练完成的坐标解码器能够对大语言模型输出的预测坐标表征进行纠正，提高页面检测准确性。
-
公开(公告)号：CN119025879B
公开(公告)日：2025-02-28
申请号：CN202411515145.5
申请日：2024-10-28
Applicant: 支付宝(杭州)信息技术有限公司 , 清华大学
IPC: G06F18/21 , G06F18/214 , G06N5/04
Abstract: 本说明书实施例公开了一种大模型的安全性测评方法、装置及设备，该方法包括：获取用于对目标大模型进行安全性测评所需使用的测试集，测试集中包括测试样本数据和对应的标签信息；确定测试样本数据中后门触发器的停用词权重比例阈值，基于停用词权重比例阈值对预设的多个初始停用词组中的基准停用词当前所在的初始停用词组进行调整，得到多个目标停用词组；将测试样本数据中包含的当前处于第一目标停用词组的停用词，使用多个目标停用词组中的其它目标停用词组中与停用词相匹配的基准停用词替换，直到停用词权重比例满足预设条件，得到替换后的测试集；基于替换后的测试集对目标大模型进行安全性测评，以判断目标大模型是否存在越狱攻击风险。
-
公开(公告)号：CN119025879A
公开(公告)日：2024-11-26
申请号：CN202411515145.5
申请日：2024-10-28
Applicant: 支付宝(杭州)信息技术有限公司 , 清华大学
IPC: G06F18/21 , G06F18/214 , G06N5/04
Abstract: 本说明书实施例公开了一种大模型的安全性测评方法、装置及设备，该方法包括：获取用于对目标大模型进行安全性测评所需使用的测试集，测试集中包括测试样本数据和对应的标签信息；确定测试样本数据中后门触发器的停用词权重比例阈值，基于停用词权重比例阈值对预设的多个初始停用词组中的基准停用词当前所在的初始停用词组进行调整，得到多个目标停用词组；将测试样本数据中包含的当前处于第一目标停用词组的停用词，使用多个目标停用词组中的其它目标停用词组中与停用词相匹配的基准停用词替换，直到停用词权重比例满足预设条件，得到替换后的测试集；基于替换后的测试集对目标大模型进行安全性测评，以判断目标大模型是否存在越狱攻击风险。
-
Patent Agency Ranking
公开(公告)号：CN117744837B
公开(公告)日：2024-08-20
申请号：CN202311873819.4
申请日：2023-12-29
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N20/00 , G06F18/214 , G06F18/22 , G06F18/25 , G06F40/205 , G06F40/30 , G06N3/0455 , G06N3/08
Abstract: 本说明书公开一种模型训练、文本检测方法、装置、存储介质及设备，可以通过对不同的互联网平台上公开文本数据集进行整理，同时，通过使用多种常见对话大语言模型和丰富的提示语集合，来构造用于训练检测模型的训练数据，并且，由于在构建用于训练检测模型的训练数据的过程中，针对训练数据进行了多次过滤，使得得到的训练数据更接近于实际场景中的对大语言模型生成的文本进行使用的场景。除此之外，在对检测模型进行训练的过程中，通过使用具有较大参数规模的教师大语言模型输出的依据文本供检测模型学习，从而可以提升训练后的检测模型针对通过大语言模型生成的文本进行识别的准确率。
-
公开(公告)号：CN117540791A
公开(公告)日：2024-02-09
申请号：CN202410013557.2
申请日：2024-01-03
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N3/094 , G06N3/0464 , G06N3/045 , G06N3/044 , G06N3/0475 , G06N3/084 , G06F18/23213 , G06Q20/40
Abstract: 本说明书实施例涉及一种对抗训练的方法及装置，方法包括：首先，获取基于训练集训练的第一模型，训练集中各训练样本包含结构化的特征数据及标签。然后，基于第一模型针对各个训练样本的总预测损失对特征数据的梯度值，确定目标权重向量。接下来，将目标权重向量施加于各训练样本的特征数据，得到各第一结果向量，并构建检索集。最后，基于训练集和检索集对第二模型进行多轮训练；任意一轮训练包括：使用训练集中部分训练样本训练第二模型；基于对抗训练算法与第二模型，确定部分训练样本对应的对抗样本特征；利用对抗样本特征在检索集中进行检索，从而确定各个对抗样本特征的标签，并构建对抗训练集；使用对抗训练集训练第二模型。
-
公开(公告)号：CN119026636B
公开(公告)日：2025-02-28
申请号：CN202411514637.2
申请日：2024-10-28
Applicant: 支付宝(杭州)信息技术有限公司 , 清华大学
Abstract: 本说明书实施例公开了一种数据处理方法、装置及设备，该方法包括：获取用于对图神经网络模型进行模型训练的图结构数据，所述图结构数据中包括节点、边和节点特征；根据预先设定的隐私数据遗忘要求，对所述图结构数据中包含的隐私数据进行定位，并根据定位结果确定所述图结构数据中位于所述隐私数据对应的遗忘范围内的目标子图数据；通过与所述隐私数据遗忘要求对应的类型相匹配的对冲规则，调整所述目标子图数据中的数据生成所述目标子图数据对应的对冲子图数据；基于所述目标子图数据和所述对冲子图数据，通过对比学习的方式对所述图神经网络模型进行模型训练，得到训练后的图神经网络模型。
-
公开(公告)号：CN119046174A
公开(公告)日：2024-11-29
申请号：CN202411535888.9
申请日：2024-10-30
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F11/36 , G06F18/20 , G06V10/40 , G06F40/126 , G06N3/0455 , G06N3/08
Abstract: 本说明书公开了一种模型训练以及页面检测方法、装置、介质及设备。获取样本页面图像，样本页面图像对应的导航文本以及标签文本。将样本页面图像与导航文本输入到预设的大语言模型，以使大语言模型根据导航文本，确定输出文本，输出文本中包含有目标控件在页面中所在位置的预测坐标表征。将预测坐标表征输入到待训练的坐标解码器，得到目标控件在页面中所在位置的预测坐标。根据预测坐标与实际页面坐标之间的差异，确定综合损失值，以根据综合损失值，对坐标解码器进行训练。使得训练完成的坐标解码器能够对大语言模型输出的预测坐标表征进行纠正，提高页面检测准确性。
-
公开(公告)号：CN119026636A
公开(公告)日：2024-11-26
申请号：CN202411514637.2
申请日：2024-10-28
Applicant: 支付宝(杭州)信息技术有限公司 , 清华大学
Abstract: 本说明书实施例公开了一种数据处理方法、装置及设备，该方法包括：获取用于对图神经网络模型进行模型训练的图结构数据，所述图结构数据中包括节点、边和节点特征；根据预先设定的隐私数据遗忘要求，对所述图结构数据中包含的隐私数据进行定位，并根据定位结果确定所述图结构数据中位于所述隐私数据对应的遗忘范围内的目标子图数据；通过与所述隐私数据遗忘要求对应的类型相匹配的对冲规则，调整所述目标子图数据中的数据生成所述目标子图数据对应的对冲子图数据；基于所述目标子图数据和所述对冲子图数据，通过对比学习的方式对所述图神经网络模型进行模型训练，得到训练后的图神经网络模型。
-
-
-
-
-
-
-
-
-
Search Results
12
records
(took 0.025 seconds)
