集成学习模型（二）——GBDT

GBDT

一、概述

  梯度提升（Gradient boosting）是一种用于回归、分类和排序任务的机器学习技术1，属于Boosting算法族的一部分。Boosting是一族可将弱学习器提升为强学习器的算法，属于集成学习（ensemble learning）的范畴。Boosting方法基于这样一种思想：对于一个复杂任务来说，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家单独的判断要好。通俗地说，就是“三个臭皮匠顶个诸葛亮”的道理。梯度提升同其他boosting方法一样，通过集成（ensemble）多个弱学习器，通常是决策树，来构建最终的预测模型。
  GBDT中的树是回归树（不是分类树），GBDT用来做回归预测，调整后也可以用于分类。

二、回归树

  回归树（Regression Decision Tree），总体流程类似于分类树，区别在于，回归树的每一个节点都会得一个预测值，该预测值等于属于这个节点的所有样本的平均值。分枝时穷举每一个feature的每个阈值找最好的分割点，但衡量最好的标准不再是最大熵，而是最小化平方误差。也就是被预测出错的数量越多，错的越离谱，平方误差就越大，通过最小化平方误差能够找到最可靠的分枝依据。分枝直到每个叶子节点上样本特征都唯一或者达到预设的终止条件(如叶子个数上限)，若最终叶子节点上样本特征不唯一，则以该节点上所有样本的平均做为该叶子节点的预测值。

  回归树的生成方法如下：

• 输入：训练数据集$D$
• 输出：回归树$f(x)$

  在训练数据集所在的输入空间中，递归地将每个区域划分为两个子区块并决定每个子区域上的输出值，构建二叉决策树：

  1.选择最优切分变量$j$与切分点$s$，求解
$$\underset{j,s}{\min }\left[\underset{c_1}{\min }\sum _{x_i\in R_1(j,s)}(y_i-c_1{)}^2+\underset{c_2}{\min }\sum _{x_i\in R_2(j,s)}{\left(y_i-c_2\right)}^2\right]$$

  容易得出，在$j$和$s$固定时，$c_1=\frac{1}{N_1}{\sum }_{x_i\in R_1}{y}_i,c_2=\frac{1}{N_2}{\sum }_{x_i\in R_2}{y}_i$

  遍历变量$j$，对固定的切分变量$j$扫描切分点$s$，选择使其值达到最小的对$(j,s)$。

  2.用选定的对$(j,s)$划分区域并决定相应的输出值：
$$\begin{array}{c}{R}_1(j,s)=\left\{x\mid x^{(j)}⩽s\right\},R_2(j,s)=\left\{x\mid x^{(j)}>s\right\}\\ {\hat{c}}_m=\frac{1}{N_m}{\sum }_{x_i\in R_m(j,s)}{y}_i,x\in R_m,m=1,2\end{array}$$

  3.继续对两个子区域调用步骤(1)，(2)，直至满足停止条件。

  4.将输入空间划分为$M$个区域$R_1,R_2,\cdots ,R_M$，生成决策树：
$$f(x)=\sum _{m=1}^M{\hat{c}}_{m}I\left(x\in R_m\right)$$

三、提升树

  提升树（Boosting Decision Tree），是迭代多棵回归树来共同决策。当采用平方误差损失函数时，每一棵回归树学习的是之前所有树的结论和残差，拟合得到一个当前的残差回归树，残差的计算方法：$残差=真实值-预测值$。提升树模型可以表示为决策树的加法模型。

$$f_M(x)=\sum _{m=1}^{M}T\left(x;{\Theta }_m\right)$$

  其中，$T(x;{\Theta }_m)$表示决策树；