（四）集成学习上——回归模型评估与超参数调优

ArriettyYun

已于 2022-09-23 17:28:47 修改

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏：集成学习文章标签：集成学习回归机器学习

于 2021-03-23 18:39:46 首次发布

本文链接：https://blog.csdn.net/youyoufengyuhan/article/details/115136244

本文介绍了机器学习中超参数调优的重要性，详细讲解了网格搜索GridSearchCV和随机搜索RandomizedSearchCV两种常用方法。通过实例展示了如何使用这两种方法在支持向量机SVR模型上进行调优，并比较了它们的性能。同时，强调了超参数与模型参数的区别，并提供了进一步的学习资源。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考：DataWhale教程链接

集成学习（上）所有Task：

（一）集成学习上——机器学习三大任务

（二）集成学习上——回归模型

（三）集成学习上——偏差与方差

（四）集成学习上——回归模型评估与超参数调优

（五）集成学习上——分类模型

（六）集成学习上——分类模型评估与超参数调优

（七）集成学习中——投票法

（八）集成学习中——bagging

（九）集成学习中——Boosting简介&AdaBoost

（十）集成学习中——GBDT

（十一）集成学习中——XgBoost、LightGBM

（十二）集成学习（下）——Blending

（十三）集成学习（下）——Stacking

（十四）集成学习（下）——幸福感预测

（十五）集成学习（下）——蒸汽量预测

文章目录

- - 2.1.6 对模型超参数进行调优(调参)

2.1.6 对模型超参数进行调优(调参)

在刚刚的讨论中，我们似乎对模型的优化都是对模型算法本身的改进，比如：岭回归对线性回归的优化在于线性回归的损失函数中加入L2正则化项从而牺牲无偏性降低方差。但是，大家是否想过这样的问题：在L2正则化中参数 $\lambda$ 应该选择多少？是0.01、0.1、还是1？到目前为止，我们只能凭经验或者瞎猜，能不能找到一种方法找到最优的参数 $\lambda$ ？事实上，找到最佳参数的问题本质上属于最优化的内容，因为从一个参数集合中找到最佳的值本身就是最优化的任务之一，我们脑海中浮现出来的算法无非就是：梯度下降法、牛顿法等无约束优化算法或者约束优化算法，但是在具体验证这个想法是否可行之前，我们必须先认识两个最本质概念的区别。

（1）参数与超参数

我们很自然的问题就是岭回归中的参数 $\lambda$ 和参数 $w$ 之间有什么不一样？

我的简单理解：
参数：求解得到的最优解，人工通过无法干预
超参数：在设定超参数的前提下，进行求解，人工可以干预

事实上，参数 $w$ 是我们通过设定某一个具体的 $\lambda$ 后使用类似于最小二乘法、梯度下降法等方式优化出来的，我们总是设定了 $\lambda$ 是多少后才优化出来的参数 $w$ 。因此，类似于参数 $w$ 一样，使用最小二乘法或者梯度下降法等最优化算法优化出来的数我们称为参数，类似于 $\lambda$ 一样，无法使用最小二乘法或者梯度下降法等最优化算法优化出来的数我们称为超参数。

参数
参数，模型内部的配置，其值需要从数据中估计。
- 参数定义了可使用的模型。
- 参数是从数据中估计的。
- 参数通常不由编程者手动设置。
- 参数通常被保存为学习模型的一部分。
- 参数是机器学习算法的关键，它们通常由过去的训练数据中总结得出。
- 超参数
  
  超参数，不直接在估计器内学习的参数。在 s