本文将对在做分类问题的时候不选用线性回归而是选用以Sigmoid函数作为拟合函数的逻辑回归作出两点解释。
1.线性回归中返回的是连续的预测值(-∞,+∞),而不是便于判断类别的概率 [0,1]
通过线性回归和逻辑回归的拟合函图像数我们可以看出,线性回归的范围在(-∞, +∞),而逻辑回归的范围在[0,1]之间,我们可以比较方便的根据概率(即g(x))的大小来判断类别。(比如,当g(x)>0.5,我们可以认为y = 1)
2.当用线性回归做分类问题时,预测结果极易受到极端值的影响。
接下来从损失函数作出解释。
1)线性回归的损失函数:
线性回归考虑极端情况:
当x趋于无穷大的时候,若斜率不变则h(∞)也应该增大,但是线性回归为了满足损失函数最小化,h(∞)会向1靠近,这就会造成斜率逐渐减小,线性函数逐渐趋于水平而无法很好的完成分类的任务;x趋于无穷小时同理。
2)逻辑回归的损失函数: