对于Linear Regression 与 Logistic Regression已经不陌生了,因此这次不详细说明这两者的概念及相关公式,而是重点谈谈这二者之间的几点不同之处。
(1) 二者应用不同
一般Linear Regression是解决回归问题,而 Logistic Regression是应用于分类问题。Logistic Regression除了可以解决二分类问题外,还可以解决多分类问题。采用 Logistic Regression进行多分类的思路是:选取某个分类作为正样本,其他分类作为负样本建立一个二分类模型;以此类推建立多个(有几个分类就建几个)二分类模型;对多个二分类模型的输出值进行大小比较,把样例归为输出值最大的那类。
(2)二者的代价函数不同
Linear Regression的代价函数为:
Logistic Regression的代价函数为:
这二者的代价函数不同,是因为定义的H假设不同,也就是模型不同(废话!一个是线性回归,一个是logistic回归,这就是两个模型怎么会相同)。接下来让我们来回顾一个各自的模型。
Linear Regression的模型为:
Logistic Regression的模型为: