多元（一元）线性回归&多项式回归(万文多图)理论与实战

文章目录

• 1. 多元线性回归基本假定与表达式
• • 1.1 基本假定
  • 1.2 具体值的表达方式
  • 1.3 向量表达形式
  • 1.4 矩阵表达方式
• 2. 多元线性回归求解
• • 2.1 矩阵解
  • 2.2 代数解
  • 2.3 几何解
  • • 2.3.1 线性方程组的几何意义
    • 2.3.2 最小二乘法
  • 2.4 正交投影矩阵
• 3. sklearn中linear model模块简介
• • 3.1 总体概述
  • 3.2 linear_model.LinearRegression
• 4. 多重共线性
• 5. 岭回归
• • 5.1 原理简介
  • 5.2 sklearn简介
  • 5.3 选择最佳参数$\alpha$
  • • 5.3.1 岭迹图
    • 5.3.2 RidgeCV
• 6. Lasso回归
• • 6.1 原理简介
  • 6.2 特征选择
  • 6.3 选择最佳的正则化参数
• 7.普通线性回归、岭回归、lasso回归几何意义
• • 7.1 岭回归与普通线性回归
  • 7.2 Lasso与普通最小二乘
  • 7.3 小结
• 8. 多项式回归