公开(公告)号：CN117744837A

公开(公告)日：2024-03-22

申请号：CN202311873819.4

申请日：2023-12-29

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 徐恪 ,  肖勇 ,  赵乙 ,  许卓尔 ,  孟昌华 ,  王维强

IPC: G06N20/00 ,  G06F18/214 ,  G06F18/22 ,  G06F18/25 ,  G06F40/205 ,  G06F40/30 ,  G06N3/0455 ,  G06N3/08

Abstract: 本说明书公开一种模型训练、文本检测方法、装置、存储介质及设备，可以通过对不同的互联网平台上公开文本数据集进行整理，同时，通过使用多种常见对话大语言模型和丰富的提示语集合，来构造用于训练检测模型的训练数据，并且，由于在构建用于训练检测模型的训练数据的过程中，针对训练数据进行了多次过滤，使得得到的训练数据更接近于实际场景中的对大语言模型生成的文本进行使用的场景。除此之外，在对检测模型进行训练的过程中，通过使用具有较大参数规模的教师大语言模型输出的依据文本供检测模型学习，从而可以提升训练后的检测模型针对通过大语言模型生成的文本进行识别的准确率。

公开(公告)号：CN117194992A

公开(公告)日：2023-12-08

申请号：CN202311454844.9

申请日：2023-11-01

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 徐恪 ,  周广猛 ,  赵乙 ,  李琦 ,  赵闻飙 ,  王维强 ,  傅幸

IPC: G06F18/214 ,  G06F18/25 ,  G06F9/50 ,  G06N3/0499 ,  G06N3/08

Abstract: 本说明书公开一种模型训练、任务执行方法、装置、存储介质及设备，中心服务器可以基于各下游任务的共性样本对初始模型进行预训练，得到具有执行各下游任务的基础能力的预训练模型，进而可以通过将预训练模型的模型参数发送给每个下游服务器，以使得每个下游服务器基于本地样本对预训练模型中的调整层进行训练，得到训练后模型，并将训练后模型的调整层的网络参数返回，中心服务器可以根据各下游服务器返回的调整层网络参数，对预训练模型的调整层进行更新，得到目标模型，从而使得可以通过预训练模型的调整层学习到不同下游服务器所私有的本地样本和预训练过程中使用的共性样本之间的潜在联系，进而使得目标模型在下游任务中的性能得到提升。