公开(公告)号：CN112270571B

公开(公告)日：2023-06-27

申请号：CN202011209043.2

申请日：2020-11-03

Applicant: 中国科学院计算技术研究所

Inventor： 许倩倩 ,  曹天伟 ,  杨智勇 ,  黄庆明

IPC: G06Q30/0242 ,  G06Q10/04 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供一种用于冷启动广告点击率预估模型的元模型训练方法，包括：S1、构建初始元模型并初始化元模型的参数；S2、获取未被点击过的未知广告组成的数据集，其中，每一个未知广告对应一个任务；S3、使用步骤S2中的数据集对元模型进行多轮训练直至收敛。本发明将每个已知任务的权重作为可学习的参数，并将加权后的任务分布和原始经验分布之间的卡方散度作为约束条件，形成了一种对于任务难度自适应的元学习损失函数。一方面，通过在训练过程中动态平衡各个任务的权重，从原本被忽略的难任务中挖掘到更多的有效知识，从而提升了模型的整体性能。另一方面，通过将任务权重和模型其他参数的学习问题建模为最大‑最小优化问题，利用GDmax算法对其进行了有效的求解，可以快速的达到收敛。

公开(公告)号：CN112270571A

公开(公告)日：2021-01-26

申请号：CN202011209043.2

申请日：2020-11-03

Applicant: 中国科学院计算技术研究所

Inventor： 许倩倩 ,  曹天伟 ,  杨智勇 ,  黄庆明

IPC: G06Q30/02 ,  G06Q10/04 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种用于冷启动广告点击率预估模型的元模型训练方法，包括：S1、构建初始元模型并初始化元模型的参数；S2、获取未被点击过的未知广告组成的数据集，其中，每一个未知广告对应一个任务；S3、使用步骤S2中的数据集对元模型进行多轮训练直至收敛。本发明将每个已知任务的权重作为可学习的参数，并将加权后的任务分布和原始经验分布之间的卡方散度作为约束条件，形成了一种对于任务难度自适应的元学习损失函数。一方面，通过在训练过程中动态平衡各个任务的权重，从原本被忽略的难任务中挖掘到更多的有效知识，从而提升了模型的整体性能。另一方面，通过将任务权重和模型其他参数的学习问题建模为最大‑最小优化问题，利用GDmax算法对其进行了有效的求解，可以快速的达到收敛。