机器学习 jupyter Python sklearn里面的岭回归

岭回归 Lasso回归

一、标准线性回归（简单线性回归）

标准线性回归（简单线性回归）中：

如果想用这个式子得到回归系数，就要保证

是一个可逆矩阵。
下面的情景：如果特征的数据比样本点还要多，数据特征n,样本个数m，如果n>m,则计算

会出错。因为

不是满秩矩阵（行数小于列数），所有不可逆。
为了解决这个问题，统计学家引入了岭回归的概念。

想了解更多标准线性回归可以转跳到这里：

二、岭回归

1.基本含义：

λ为岭系数, I为单位矩阵（对角线上全为1，其他元素为0）。单位矩阵为满秩矩阵，乘以λ仍然为满秩矩阵。
2.岭回归的代价函数

正则化的代价函数：L2正则化（权值的平方）：

了解更多正则化内容点击这里
3.推导过程
根据代价函数求解回归系数w的值为如下的表达式：

注：

其中

称为L2正则化项
在所有参数平方和前乘以了一个参数λ，把它叫正则化系数或者惩罚系数。这个惩罚系数是调节模型好坏的关键参数，我们通过两个极端的情况说明它是如何调节模型复杂度的。( 较大的λ值指定较强的正则化)
λ值为0：损失函数将与原来损失函数一样（即最小