本文介绍了集成学习中的Bagging与Boosting方法，详细解释了Adaboost的思路与算法流程，并对比了其优缺点。此外还提及了GBDT、XGBoost和LightGBM等提升方法。
一、Bagging与Boosting
- Bagging：基于Bootstrap法，通过获得多个不同样本集合（以及特征抽样方法）对同一类型模型做拟合，并利用投票法得出最终预测。主要思路是通过大幅降低方差来降低泛化误差。
- Boosting：使用同一组数据集，通过迭代学习降低学习的偏差来降低泛化误差。主要有Adaptivve Boosting和Gradient Boosting（XGB、LightGBM、Catboost）两类
二、Boosting思路及方法
基于PAC学习理论框架，弱学习与强学习等价，我们总是可以基于一系列较为简单的弱学习器去实现一个强学习器。
而对Boosting方法来说，大多数是通过改变训练数据集合中的概率分布（不同sample的weight），拟合新的弱学习器模型，再基于拟合效果去更新样本权值和模型权重。
三、Adaboost
【思路】
（1）对在前一轮分类器拟合中被错误分类的样本，提高其权重；对再前一轮分类器拟合中被正确分类的样本，降低其权重。从而本轮训练中，会更加“重视”之前分类错误的样本。
（2）各个弱学习器的组合通过采取加权后的投票法，加大分类错误率低的模型的权重。
【算法】
分为adaboost分类器与adaboost回归器
详见https://www.cnblogs.com/pinard/p/6133937.html
【优缺点】
Adaboost的主要优点有：
1）Adaboost作为分类器时，分类精度很高
2）在Adaboost的框架下，可以使用各种回归分类模型来构建弱学习器，非常灵活。
3）作为简单的二元分类器时，构造简单，结果可理解。
4）不容易发生过拟合
Adaboost的主要缺点有：
1）对异常样本敏感，异常样本在迭代中可能会获得较高的权重，影响最终的强学习器的预测准确性。
扫一扫
2561
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
