Linear Regression 与 Logistic Regression的几点不同

本文探讨了线性回归与逻辑回归的应用场景差异及代价函数的不同。线性回归适用于回归问题,逻辑回归则用于分类问题,并能通过多次迭代解决多分类任务。此外,两种回归方法的代价函数和模型亦有所不同。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


       对于Linear Regression 与 Logistic Regression已经不陌生了,因此这次不详细说明这两者的概念及相关公式,而是重点谈谈这二者之间的几点不同之处。


(1) 二者应用不同


        一般Linear Regression是解决回归问题,而 Logistic Regression是应用于分类问题。Logistic Regression除了可以解决二分类问题外,还可以解决多分类问题。采用 Logistic Regression进行多分类的思路是:选取某个分类作为正样本,其他分类作为负样本建立一个二分类模型;以此类推建立多个(有几个分类就建几个)二分类模型;对多个二分类模型的输出值进行大小比较,把样例归为输出值最大的那类。


(2)二者的代价函数不同


       Linear Regression的代价函数为:


       Logistic Regression的代价函数为:



       这二者的代价函数不同,是因为定义的H假设不同,也就是模型不同(废话!一个是线性回归,一个是logistic回归,这就是两个模型怎么会相同)。接下来让我们来回顾一个各自的模型。

       Linear Regression的模型为:


       Logistic Regression的模型为:



       Logistic Regression最大的特点就是将函数值收缩到[0,1]这个范围,但是这个特点也导致线性回归的代价函数非凸,换句话说就是该代价函数有多个局部最优点,这就导致采用梯度下降法进行求解很可能陷入局部最优点。因此,Logistic Regression需要重新定义一个合适的代价函数,事实证明上面给出新的代价函数是凸函数。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值