公开(公告)号：CN111598238A

公开(公告)日：2020-08-28

申请号：CN202010691948.1

申请日：2020-07-17

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 杨新星 ,  周俊 ,  李龙飞

IPC: G06N3/08 ,  G06N3/04

Abstract: 本说明书实施例中提供了一种深度学习模型的压缩方法及装置。该方法可以包括：首先获取经训练得到的深度学习模型以及用于训练该深度学习模型的多条训练数据，其中该深度学习模型用于进行业务预测并且包括多个权重参数。然后根据深度学习模型对应的损失函数以及多条训练数据，确定多个权重参数各自对应的梯度值。接着确定多个权重参数各自对应的重要性度量值；其中，一个权重参数对应的重要性度量值，与该权重参数的绝对值正相关，与该权重参数对应的梯度值的绝对值正相关。之后根据多个权重参数各自对应的重要性度量值，对深度学习模型进行网络剪枝。

公开(公告)号：CN110866602A

公开(公告)日：2020-03-06

申请号：CN201911168569.8

申请日：2019-11-25

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 杨新星 ,  李龙飞 ,  周俊

IPC: G06N3/08 ,  G06N20/20 ,  G06N3/04

Abstract: 本说明书实施例提供了一种集成多任务模型的方法和装置，所述多任务模型当前包括与n个子任务分别对应的n个子模型，所述方法包括：基于预设的m个子网络，获取多个候选模型，每个候选模型通过将所述m个子网络中的一个子网络添加到所述多任务模型的n个子模型中至少一个子模型中而获取，其中，所述m个子网络具有不同的网络结构；使用预先准备的多个训练样本分别训练多个候选模型；使用预先准备的多个评估样本分别评估多个经训练的候选模型和当前的多任务模型；基于对各个候选模型和当前多任务模型的评估，在多个候选模型中的至少一个候选模型优于当前的多任务模型的情况中，从多个候选模型中确定最优候选模型作为更新的多任务模型。