公开(公告)号：CN112200316B

公开(公告)日：2022-07-15

申请号：CN202011187707.X

申请日：2020-10-30

Applicant: 福州大学

Inventor： 林志贤 ,  庄跃生 ,  张永爱 ,  周雄图 ,  林珊玲

IPC: G06N3/08 ,  G06N5/00

Abstract: 本发明涉及一种针对在线预测任务的GBDT学习方法，筛选符合决策树模型训练的数据特征，并输入单棵决策树中训练，对决策树模型的超参数进行微调，根据分类准确率得出最佳超参数，再重新训练决策树模型聚类输出对应的叶子索引；利用两层全连接层将高维稀疏的叶子索引向量嵌入成低维密集向量，再利用深度神经网络拟合低维密集向量，从而完成单棵决策树模型蒸馏为神经网络的过程；最后将GBDT多棵决策树随机划分多组，每组决策树输出的叶子索引向量进行拼接，同组决策树用相同神经网络拟合拼接后叶子索引的低维密集向量，重复多组树的训练，使GBDT完整蒸馏构造为神经网络。本发明能够改善GBDT树模型对表格数据空间的训练学习效果，又能保持高效在线更新能力。

公开(公告)号：CN112200316A

公开(公告)日：2021-01-08

申请号：CN202011187707.X

申请日：2020-10-30

Applicant: 福州大学

Inventor： 林志贤 ,  庄跃生 ,  张永爱 ,  周雄图 ,  林珊玲

IPC: G06N3/08 ,  G06N5/00

Abstract: 本发明涉及一种针对在线预测任务的GBDT学习方法，筛选符合决策树模型训练的数据特征，并输入单棵决策树中训练，对决策树模型的超参数进行微调，根据分类准确率得出最佳超参数，再重新训练决策树模型聚类输出对应的叶子索引；利用两层全连接层将高维稀疏的叶子索引向量嵌入成低维密集向量，再利用深度神经网络拟合低维密集向量，从而完成单棵决策树模型蒸馏为神经网络的过程；最后将GBDT多棵决策树随机划分多组，每组决策树输出的叶子索引向量进行拼接，同组决策树用相同神经网络拟合拼接后叶子索引的低维密集向量，重复多组树的训练，使GBDT完整蒸馏构造为神经网络。本发明能够改善GBDT树模型对表格数据空间的训练学习效果，又能保持高效在线更新能力。