关于Logistic Regression 与 SVM的选择

最新推荐文章于 2022-12-18 23:44:22 发布
原创 最新推荐文章于 2022-12-18 23:44:22 发布 · 997 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#模型比较 #Logistic Regression #SVM

本文介绍了如何根据训练样本数量及特征维度选择Logistic Regression、SVM及神经网络进行分类任务。当训练样本较大时，推荐使用Logistic Regression或不带核函数的SVM；样本较少时，依据特征维度的不同，可以选择带高斯核的SVM或增加特征后再用Logistic Regression等。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

      目前，我们已经介绍完了Logistic Regression 与 SVM的基本原理，其都可以用来做分类问题，那么该如何选择呢？

  • 一般当训练样本较大时，选择Logistic Regression或者不带核函数的SVM；
  • 当训练样本较少时，并且特征维度适中，选择带高斯核的SVM;
  • 当训练样本较少，并且特征维度也少，尽量再增加些特征，然后选择Logistic Regression或者不带核函数的SVM。

      另外，以上三种情况都可以选择神经网络，只是有时训练时间有些长。


逻辑回归（Logistic Regression）和SVM的联系以及Kernel
Jackie_Zhu的专栏
08-26 6894
逻辑回归和SVM都是比较理想的分类器，但是各有优缺点，逻辑回归不仅可以得到具体的分类类别，还可以得到连续的概率值（因为逻辑回归实质上是回归）；SVM则可以利用kernel将特征投影到高维甚至无穷维来更好地拟合数据。这里我们来看一下逻辑回归和SVM之间有没有什么联系，以及能否将kernel应用到逻辑回归上，使得逻辑回归具备类似SVM的非线性分类特性。逻辑回归逻辑回归的假设是下面的一条S型曲线，值域是[
Logistic regression与SVM
yibu456的专栏
04-11 1779
Logistic模型和SVM很像，现在大概说一下两者的区别① 寻找最优超平面的方法不同形象点说，Logistic模型找的那个超平面，是尽量让所有点都远离它，而SVM寻找的那个超平面，是只让最靠近中间分割线的那些点尽量远离，即只用到那些“支持向量”的样本——所以叫“支持向量机”。② SVM可以处理非线性的情况比Logistic更强大的是，SVM还可以处理非线性的情况。​③Logistic regres
logistic regression与SVM
dishengzao9473的博客
11-28 245
Logistic模型和SVM都是用于二分类，现在大概说一下两者的区别 ① 寻找最优超平面的方法不同 形象点说，Logistic模型找的那个超平面，是尽量让所有点都远离它，而SVM寻找的那个超平面，是只让最靠近中间分割线的那些点尽量远离，即只用到那些“支持向量”的样本——所以叫“支持向量机”。 ② SVM可以处理非线性的情况 即，比Logistic更强大的是，SVM还可以处理非线性...
SVM和Logistic Regression的使用时的区别
gyh_420的博客
09-19 1419
上图来自Andrew Ng的机器学习课程，我做个搬运工： 假设： n = 特征数量，m = 训练样本数量 1）如果n相对于m更大，比如 n = 10,000，m = 1,000，则使用lr 理由： 特征数相对于训练样本数已经够大了，使用线性模型就能取得不错的效果，不需要过于复杂的模型； 2）如果n较小，m比较大，比如n = 10，m = 10,000，则使用SVM（高斯核函数） 理由：
Support Vector Machines(SVM) vs Logistic Regression(LR)
Enjoy Coding
10-03 1144
Reference http://www.cs.toronto.edu/~kswersky/wp-content/uploads/svm_vs_lr.pdf
data.rar_SVM For regression_execution_logistic regression_svm re
07-15
例如，代码可能使用了sklearn库中的LogisticRegression和SVM类，通过fit方法拟合模型，并通过predict方法进行预测。同时，代码可能会对比两种模型的预测效果，如计算均方误差（MSE）、决定系数（R^2）等。 在实际...
KNN vs Logistic Regression vs SVM
baidu_25845567的博客
06-10 715
import numpy from sklearn import svm, linear_model, neighbors, datasets import time def predict(): digit = datasets.load_digits() x = digit.data/digit.data.max() y = digit.target n...
Perceptron, Logistic regression and SVM
weixin_44060636的博客
11-13 459
some tips 非线性可以起到一个作用是对局部区域的数据敏感，对其他区域不敏感。 多个线性神经元可以起到多维空间的平面分类，非线性则为曲面映射。 perceptron pursue excellence, 它只有把所有点都分类正确才停止迭代。而logistic regression考虑总体效果。svm则可通过调节C来改变更看重间隙更大（泛化能力更好）还是更看重训练数据分类的正确率。 用SVM做分类也要做数据归一化 高斯核大小的选择有准则，看均值和中位数。silverman‘s rule 一个高斯核像一
FR_Project_ORL_logisticregression_orl_facerecognition_FaceIt_SVM
09-29
A face recognition project written in python programming. It use svm and logistic regression to classify the faces as simple face
神经网络激活函数？——再从感知机到 logistic regression 和 SVM
Robin_Pi的博客
01-05 868
激活函数 将神经网络的输出非线性化的一种函数。 激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题。 （所以激活函数都是非线性函数，比如最常用的 sigmoid、tanh 和 ReLU） 理解为什么需要激活函数引入非线性性： 单层感知机：最常用的神经网络组成单元，用它可以划出一条线, 把平面分割开 那么很容易地我们就会想用多个感知机来进行组合, 获得更强的分类能力 但是，其输出无论如何都...
SVM与Logistic回归模型比较及SVM应用于多分类问题源码-svm.zip
12-29
包含数据线性可分与数据线性不可分数据，与Logistic回归比较及SVM应用于多分类问题等！包含生成数据集与真实数据集、数据集分为线性可分与线性不可分数据、二维及多维数据均适用！！！
Logistic Regression VS. SVM
lxqlxq21的专栏
03-07 424
n=NO. of features m=NO. of training examples 相对于m来说，n比较大：use logistic regression or SVM with linear kernel n is small, m is intermediate: Use SVM with Gaussian kernel n is small, m is large: Create mo
svm与logistic regression的区别
ZhikangFu的专栏
03-14 2731
两种方法都是常见的分类算法,从目标函数来看,区别在于逻辑回归采用的是logistical loss,svm采用的是hinge loss.这两个损失函数的目的都是增加对分类影响较大的数据点的权重,减少与分类关系较小的数据点的权重.SVM的处理方法是只考虑support vectors,也就是和分类最相关的少数点,去学习分类器.而逻辑回归通过非线性映射,大大减小了离分类平面较远的点的权重,相对提升了与
机器学习| 面试题：01、机器学习中LR（Logistic Regression）和SVM（Support Vector Machine）有什么区别与联系？
Mrrunsen的博客
09-11 448
问题 机器学习中LR（Logistic Regression）和SVM（Support Vector Machine）有什么区别与联系？ 背景 LR和SVM的概念大家都有了解甚至很熟悉了，不过在面试中可能不止是简单地单独考察你对LR或SVM的理解，可能会让你对这两个算法进行比较分析，因此就有必要将两者放在一起比较一下。 LR和SVM的联系 1. LR和SVM都是分类算法 普通的LR和SVM算法只能处理二分类问题，当然，通过改进后的LR和SVM都可以用来处理多分类问题（后面会详细解释）。 2. 在不考虑核函数
机器学习（二）LR（logistic regression）和SVM（support vector machine）的联系和区别
weixin_46180132的博客
09-15 1154
SVM 和 LR
逻辑回归，决策树，支持向量机 选择方案
热门推荐
Oliverkehl的专栏
12-01 1万+
逻辑回归 vs 决策树 vs 支持向量机分类是我们在工业界经常遇到的场景，本文探讨了3种常用的分类器，逻辑回归LR，决策树DT和支持向量机SVM。 这三个算法都被广泛应用于分类（当然LR，DT和SVR也可以用于回归，但是本文先不讨论）。我经常看到人们会问，这个问题我该使用LR呢还是决策树（或者GBDT）还是SVM呢。然后你会听到一个“经典”而且“绝对正确”的答案：”It depends.”这个答案
分类模型(1)——逻辑回归和SVM
weixin_52640021的博客
12-18 3268
1）线性属性非线性：特征转换（多项式回归）全局性非线性：线性分类 激活函数（逻辑回归）系数非线性：神经网络 ，感知机2）全局性线性样条回归：决策树3）数据未加工PCA，流形硬分类1）线性判别分析：fisher2) 感知机软分类生成式：Gaussion Discriminal Analysis判别式：Logistic Regression逻辑回归利用上一章的多元线性回归模型进行回归。写成向量乘积形式：根据上一章讨论的内生性问题：只能取0或者1（回归系数估计出来不一致且有偏）显然。
SVM与LR(Logistic Regression)
weixin_42108090的博客
09-11 162
LR（Logistic Regression）虽然是回归模型，但却是经典的分类方法。 对于二分类问题 SVM，输出样本是正类还是负类； LR，输出样本是正类的概率。
SVM与LR的比较
weixin_30547797的博客
07-15 159
两种方法都是常见的分类算法，从目标函数来看，区别在于逻辑回归采用的是logistical loss，svm采用的是hinge loss。这两个损失函数的目的都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。SVM的处理方法是只考虑support vectors，也就是和分类最相关的少数点，去学习分类器。而逻辑回归通过非线性映射，大大减小了离分类平面较远的点的权重，相对提升了与...
深入探究机器学习实验中的Logistic Regression算法
Logistic Regression与决策树、随机森林、支持向量机（SVM）等其他分类算法相比，各有优劣。与决策树相比，逻辑回归能提供概率输出，而决策树的输出通常是确定性的。与随机森林相比，逻辑回归模型结构简单，训练速度...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值