推荐系统GBDT,Xgboost,Lightgbm入门原理简介

最新推荐文章于 2025-05-13 08:19:53 发布

巫巫9

最新推荐文章于 2025-05-13 08:19:53 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

文章标签：决策树机器学习算法

本文链接：https://blog.csdn.net/weixin_44625028/article/details/122643414

本文介绍了GBDT、Xgboost和Lightgbm三种基于决策树的机器学习算法。GBDT是梯度提升决策树，通过残差最小化构建模型。Xgboost在GBDT基础上引入了二阶导数信息，优化目标函数。Lightgbm则通过Histogram、GOSS和EFB等技术提高了效率。这些模型广泛应用于推荐系统、广告点击率预测等领域。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Facebook于2014年推出了GBDT+LR组合模型的广告推荐系统，简单来说就是利用GBDT自动进行特征筛选和组合，生成新的离散型特征向量，再利用LR模型预测CTR。
因此本章将讲述一下GBDT以及衍生的Xgboost,lightgbm模型。

树模型

首先，简单了解机器学习中的树模型。
树模型是一个一个特征进行处理，对每一个特征做一个划分，这是与线性模型的不同之处。
在这里插入图片描述
决策树学习：采用自顶向下的递归的方法，基本思想是以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处熵值为0（叶节点中的实例都属于一类）。

决策树思想，实际上就是寻找最纯净的划分方法，这个最纯净在数学上叫纯度，纯度通俗点理解就是目标变量要分得足够开（y=1的和y=0的混到一起就会不纯）。另一种理解是分类误差率的一种衡量。实际决策树算法往往用到的是，不纯度。不纯度的选取有多种方法，每种方法也就形成了不同的决策树方法，比如ID3算法使用信息增益作为不纯度；C4.5算法使用信息增益率作为不纯度；CART算法使用基尼系数作为不纯度。