机器学习--岭回归（RidgeRegression）

一、一般线性回归遇到的问题 二、

抗共线性：有效解决线性回归在特征高度相关时的参数不稳定问题；灵活性：通过 λ 参数精确控制正则化强度，适配不同复杂度的数据集；理论完备：兼具频率学派（正则化）与贝叶斯学派（先验分布）的解释，数学性质清晰。

脊回归（Ridge Regression）@ author : [email protected]在《线性回归（Linear Regression）》中提到过，当使用最小二乘法计算线性回归模型参数的时候，如果数据集合矩阵（也叫做设计矩阵(design matrix)）XX，存在多重共线性，那么最小二乘法对输入变量中的噪声非常的敏感，其解会极为不稳定。为了解决这个问题，就有了这一节脊回归（Ridge R

机器学习之岭回归 在线性回归模型中，有一个致命的问题，就是对于估计参数ω=(XTX)−1XTY\omega = (X^TX)^{-1}X^TYω=(XTX)−1XTY，如果(XTX)(X^TX)(XTX)它不可逆那么就会导致无法求出这个参数，另外如果∣XTX∣|X^TX|∣XTX∣月接近与0，会使得回归系数趋近于无穷大，这样也是无意义的。为了解决这类问题，我们可以使用岭回归。 另外还有一个问题，那就是过拟合问题，对于样本而言往往会出现数据的量不多，但有非常多的特征，那么这时候就很容易造成过拟合，这种过拟合

本人就职海外从事人工智能领域开发设计。 希望花时间总结下流行的机器学习算法，希望大家一起学习，欢迎指正！

正则化项有助于限制模型的参数，使其不过分依赖于训练数据，从而提高模型的泛化能力。岭回归的目标函数可以表示为：J(θ)MSE(θ)α训练岭回归模型的过程是通过最小化目标函数找到最适合数据的参数。正则化项对模型的参数进行惩罚，使得参数趋向于较小的值，从而减小模型对训练数据的过拟合程度。

[机器学习-5]岭回归[L2正则化]及python实现（Ridge Regression）【L2】前言题目岭回归（Ridge Regression）k-fold validation(1)实现（realization）(2)实现 前言 ！！实现直接跳转实现 这章本来是为了接前面的过拟合（overfit）的，结果到现在过拟合还没水出来，所以就先写这一篇啦。 首先简单地提一下过拟合，所谓过拟合，可以理解为过度地取悦我们所用的数据，结果就是训练出来的模型，在我们的训练集（training set）上表现完美，结果

在《机器学习学习笔记（4）----线性回归的数学解析》，我们通过计算线性模型的损失函数的梯度，得到使得损失函数为最小值的的解析解，被称之为普通最小二乘法： (1) 公式(1)能够求得的前提是是满秩矩阵，这样才能计算得到它的逆矩阵。但是在很多情况下，矩阵不可逆。特别是当样本数m很大时，m >> n时，矩阵基本上是不可逆的，因为矩阵中出现大量线性相关的行向量的几率很高。这时，我们直接去算公式(1)是算不出来结果的。 为了解决这个问题，我们需要重新定义损失函数，在损失函数中引入范数项： ..

本文介绍了岭回归模型的原理、计算流程和应用实例，可用于面试八股或业务参考。

4 岭回归 4.1 简介 普通线性回归模型使用基于梯度下降的最小二乘法，在最小化损失函数的前提下，寻找最优模型参数，在此过程中，包括少数异常样本在内的全部训练数据都会对最终模型参数造成程度相等的影响，异常值对模型所带来影响无法在训练过程中被识别出来 岭回归:在模型迭代过程所依据的代价函数中增加了正则惩罚项（L2范数正则化），以限制模型参数对异常样本的匹配程度，进而提高模型面对多数正常样本的拟合精度，解决过拟合问题 正则化： 目的：防止过拟合 本质：约束（限制）要优化的模型参数 代价函数： J(θ)=12

岭回归的实现过程，梯度下降和正规方程的区别解释。以及代码实现岭回归。

本内容整理自coursera，欢迎转载交流。 （https://www.coursera.org/specializations/machine-learning） 1.一般回归遇到的问题 一般的回归模型很容易出现过拟合（overfitting）的问题。 为了说明过拟合，先介绍两个概念： error=bias+variance bias:指的是模型在样本上的输出与真实

ridge regression通过在linear regression的基础上添加正则项α，一般的线性回归当X矩阵变化较小时，得到的结果可能会有很大变化，使用α减少变化、减少平衡方差。当α很大时，正则化项使得平方差的影响降低，这时候Ein主要由正则化项决定，W系数表现为很好的robust。在实际引用中，调整α去平衡方差与正则项的权重。

daixie

1 岭回归 1.1 定义 岭回归，其实也是一种线性回归。只不过在算法建立回归方程的时候，加上正则化的限制，从而达到解决过拟合的效果。 1.2 实现API 1.3 观察正则化程度的变化，对结果的影响？ 1.4 波士顿房价预估案例实现 from sklearn.model_selection import train_test_split from sklearn.datasets import load_boston from sklearn.preprocessing imp

岭回归是在自变量高度相关的场景中估测多元回归模型系数的方法。该方法提高了参数估测问题的效率，换取代价是可容忍的偏差量，同时 Lasso（最小绝对收缩和选择运算符）亦是一种回归分析方法，它同时执行变量选择和正则化，从而提升成果统计模型的预测准确性和可解释性。Lasso 最初是为线性回归模型制定的。这个简单的案例揭示了大量关于估测器的信息。其中包括它与岭回归和最佳子集选择的关系，以及 lasso 系数估侧与所谓的软阈值之间的联系。它亦揭示出（如同标准线性回归），如果协变量是共线性的，则系数估测不需要是唯一的。

最近做项目用到岭回归模型，特地来记录一下整个岭回归模型的原理和代码。 以后会将用到的机器学习模型算法都记录下来。