第三章 线性模型

第三章 线性模型

• 线性回归

  旨在学得一个线性模型以尽可能来预测出其对应的 连续值 ，通过对预测值和真实值之间，尽可能缩小其欧氏距离。

• 一元线性回归

  

  • 正交回归：点到直线的垂直距离最短
  • 线性回归：均方误差最小直线 平行于y轴到直线最短的距离
  • 最小二乘法
  • 极大似然估计

• 多元线性回归

  

  从一般的线性回归模型，到映射在n维空间上的多元线性回归，可以通过矩阵的形式表示出来

• 对数几率回归

  • 又叫做逻辑回归，比如说将二分类的问题的结果转化为0-1上的值的输出，用来处理分类问题的算法。

• 线性判别分析（LDA）

  通过给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类样例的投影点尽可能远离

• 多分类学习

  • 一对一
  • 一对多
  • 多对多

• 类别不平衡问题

  • 对训练集中的反类样例进行“欠采样”，即去除一些反例使得正、负样例数目接近，然后进行学习。（删除后接近）
  • 对训练集中的正类样例进行“过采样”，即增加一些正例使得正、反例数目接近，然后进行学习。（增加后接近）
  • 直接基于原始训练集进行学习，但在训练好的分类器进行预测时，将“再缩放”策略嵌入到其决策过程中，称为“阈值移动”。
  • 是否可以多次随机采取数目解决的类别数据进行学习