公开(公告)号：CN116975686A

公开(公告)日：2023-10-31

申请号：CN202310907307.9

申请日：2023-07-21

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 邓印 ,  陈颖鑫 ,  董鑫 ,  潘凌超 ,  李海 ,  程磊 ,  莫林剑

IPC: G06F18/24 ,  G06N3/042 ,  G06N3/08 ,  G06Q50/20

Abstract: 本说明书实施例提供了一种训练学生模型的方法、行为预测方法和装置，该方法基于教师模型以及桥模型来训练学生模型，该方法包括：将原始特征数据输入第一嵌入层，得到第一嵌入特征并输入训练好的教师模型、以及桥模型，得到第一和第二预测结果并根据其更新桥模型；将第一嵌入特征输入桥模型所包括的桥特征提取网络、以及学生模型包括的学生特征提取网络，得到第一桥提取向量和学生提取向量，并根据其确定交互蒸馏损失；将原始特征数据输入第二嵌入层，得到第二嵌入特征并输入桥特征提取网络，得到第二桥提取向量；根据第一和第二桥提取向量，确定嵌入蒸馏损失；至少根据交互蒸馏损失和嵌入蒸馏损失，确定综合损失并根据其更新学生模型。