公开(公告)号：CN118551229B

公开(公告)日：2024-12-20

申请号：CN202411022507.7

申请日：2024-07-29

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 祝福顺 ,  罗净

IPC: G06F18/214 ,  G06F18/25 ,  G06N3/08

Abstract: 本说明书一个或多个实施例提供了一种下游任务处理方法、模型的训练方法及装置。该训练方法主要采用提示微调预训练模型的方式训练下游任务模型。具体的，该训练方法以训练样本作为预训练模型的输入，利用引入的提示词符引导预训练模型分别输出共享特征和专有特征。并分别对共享特征和专有特征施加确定性监督约束的方式进行训练，以使预训练模型可以确定性地学习共享知识和专有知识。

公开(公告)号：CN118171692A

公开(公告)日：2024-06-11

申请号：CN202410382289.1

申请日：2024-03-29

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 张雪 ,  祝福顺 ,  罗净

IPC: G06N3/0455 ,  G06N3/098 ,  G06F21/62 ,  G06N3/0464

Abstract: 本说明书实施例提供了一种深度学习模型的端云协同方法、模型训练方法及设备。深度学习模型包括部署在终端侧的浅层网络以及部署在云端侧的非浅层网络。该方法包括：通过终端侧的浅层网络对终端侧的待处理内容进行特征提取，得到待处理内容对应的原始内容表征；对原始内容表征进行特征压缩，将得到的压缩内容表征发送至云端侧，以及通过云端侧将压缩内容表征还原为与待处理内容对应的目标内容表征。

公开(公告)号：CN118551229A

公开(公告)日：2024-08-27

申请号：CN202411022507.7

申请日：2024-07-29

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 祝福顺 ,  罗净

IPC: G06F18/214 ,  G06F18/25 ,  G06N3/08

Abstract: 本说明书一个或多个实施例提供了一种下游任务处理方法、模型的训练方法及装置。该训练方法主要采用提示微调预训练模型的方式训练下游任务模型。具体的，该训练方法以训练样本作为预训练模型的输入，利用引入的提示词符引导预训练模型分别输出共享特征和专有特征。并分别对共享特征和专有特征施加确定性监督约束的方式进行训练，以使预训练模型可以确定性地学习共享知识和专有知识。