SVM-支持向量机

最新推荐文章于 2025-08-18 23:06:04 发布
最新推荐文章于 2025-08-18 23:06:04 发布
阅读量76 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习 文章标签： 支持向量机 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43902823/article/details/134376759
本文回顾了线性分类器中的关键概念，如如何选择最优超平面以提高鲁棒性和泛化能力，介绍支持向量和间隔的概念，讨论了对偶问题及SMO求解方法。还探讨了特征空间映射、核函数的作用，以及在实际应用中如何处理软间隔和选择合适的核函数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

线性分类器回顾

在样本空间中寻找一个超平面, 将不同类别的样本分开

但是将训练样本分开的超平面可能有很多, 哪一个更好呢?

“正中间”的: 鲁棒性最好, 泛化能力最强

怎么定义最合适的超平面呢？

我们使它向上平移和向下平移，触碰到样本的距离，间隔相等。

间隔(Margin)与支持向量(Support Vector)

支持向量机基本型

凸二次规划问题，能用优化计算包求解， 但可以有更高效的办法

对偶问题

        对偶理论是一种将一个优化问题转化为另一个优化问题的方法，其中两个问题都有相同的最优解。这种方法通常涉及到两个问题：原始问题和对偶问题。原始问题是我们想要解决的问题，而对偶问题是通过对原始问题进行一些数学变换得到的问题。

        也就是说可以将一个复杂的优化问题转化为一个更简单的问题，这有助于我们更好地理解和解决问题。

解的特性

求解方法 - SMO

特征空间映射

若不存在一个能正确划分两类样本的超平面, 怎么办?

将样本从原始空间映射到一个更高维的特征空间, 使样本在这个 特征空间内线性可分

如果原始空间是有限维(属性数有限)，那么一定存在一个 高维特征空间使样本线性可分

核函数 (Kernel Function)

基本思路： 设计核函数

绕过显式考虑特征映射、以及计算高维内积的困难

Mercer 定理：若一个对称函数所对应的核矩阵半正定, 则它就能作为核函数来使用

任何一个核函数，都隐式地定义了一个RKHS (Reproducing Kernel Hilbert Space, 再生核希尔伯特空间)

“核函数选择”成为决定支持向量机性能的关键！

我们常用核函数有：

线性核函数

多项式核函数

高斯核函数

软间隔

现实中很难确定合适的核函数，使训练样本在特征空间中线性可分。即便貌似线性可分，也很难断定是否是因过拟合造成的。

引入软间隔 (Soft Margin), 允许在一些样本上不满足约束

优化目标

替代损失    (Surrogate Loss)

软间隔支持向量机

pso-svm-支持向量机资源
07-01
pso-svm-支持向量机资源
一个关于-SVM-支持向量机的介绍
08-31
### 支持向量机（SVM）简介 #### 一、SVM概念与起源 支持向量机（Support Vector Machine, SVM）是一种基于统计学习理论的机器学习方法，最初由Vladimir Vapnik等人提出。SVM主要用于解决分类问题，并在处理小样本...
SVM-支持向量机-cnn车牌检测车牌号识别-LPR-matlab-源码
10-02
支持向量机（SVM，Support Vector Machine）是一种在机器学习领域广泛应用的监督学习模型，尤其在分类和回归任务中表现出色。SVM的核心思想是找到一个最优的超平面，使得不同类别的样本尽可能地被分隔开来，同时保持...
Matlab实现基于SVM-RFE支持向量机递归特征消除的回归数据特征选择算法（Matlab完整程序和数据）
07-30
基于SVM-RFE支持向量机递归特征消除的回归数据特征选择算法，输出为选择的特征序号（Matlab完整程序和数据） Chinese: Options：可用的选项即表示的涵义如下 　-s svm类型：SVM设置类型(默认0) 　0 -- C-SVC 　1 --v...
Matlab实现基于SVM-Adaboost支持向量机结合Adaboost集成学习时间序列预测（股票价格预测）（完整源码和数据）
06-11
基于SVM-Adaboost支持向量机结合Adaboost集成学习时间序列预测（股票价格预测）基于SVM（支持向量机）和AdaBoost集成学习的时间序列预测（如股票价格预测）是一种结合了两种强大机器学习算法的方法，旨在通过利用...
基于粒子群优化算法优化支持向量机的数据回归预测 PSO-SVM
weixin_47760707的博客
08-17 699
该代码实现了基于粒子群优化支持向量机的回归预测模型。 首先，从Excel导入数据集并随机划分为80个训练样本和23个测试样本，对特征和目标变量进行归一化处理； 其次，利用粒子群算法(PSO)优化支持向量机(SVM)的惩罚参数C和核参数g，使用最优参数训练SVM回归模型； 最后，在训练集和测试集上进行预测，通过反归一化得到最终结果，计算RMSE、R²、MAE等评估指标，并绘制预测对比曲线和散点图进行可视化分析。
基于支持向量机的数据回归预测（libsvm） SVM
weixin_47760707的博客
08-15 507
 该代码实现了一个基于支持向量机（SVM）的回归预测模型，用于建立特征与目标变量之间的映射关系。        首先，代码导入数据并随机划分80%样本作为训练集、23%样本作为测试集，同时对特征和目标值进行归一化处理；        其次，使用径向基核函数（RBF）配置SVM回归模型参数（惩罚因子c=4.0，核参数g=0.8），训练模型并分别在训练集和测试集上进行预测；        最后，通过反归一化处理将预测结果还原到原始量纲，计算RMSE、R²、MAE和MBE等评估指标，并绘制预测值对比曲线和真
支持向量机的原理和案例解析
secret2316352792的博客
08-15 438
w⋅xb0(1)w⋅xb01ww1w2wnTww1​w2​...wn​T是超平面的法向量（决定超平面方向）；bbb是偏置项（决定超平面位置）；xx1x2xnTxx1​x2​...xn​T是样本点的特征向量。对于二分类问题，假设样本标签为y∈1−1y∈1−1w⋅xb0w⋅xb0（即y1y=+1y1w⋅xb0w⋅xb0（即y−1。
数学建模 13 SVM 支持向量机
chanshiyuqaq的博客
08-17 153
在数学建模中常用于分类，其核心是找到超平面，二维中是直线，三维中是平面，更高维中是超平面，最优超平面：平面到两边的距离最大。将低维非线性数据映射到高维空间，使其在高维空间中可线性分隔，无需直接计算高维空间的复杂映射，降低计算成本。对于（0，1），（1，0）属于B ， 在二维空间中无论怎么划直线都不能将A与B划分清晰，通过核函数做一个映射四个点分别是（0，0，0）（1，1，1）（1，0，0）（0，1，0）（学生通过习题--答案学习）随机森林，逻辑回归，线性回归，SVM；对于（0，0），（1，1）属于A。
数据挖掘 3.5 支持向量机——边界和正则化
最新发布
moranxiao199的博客
08-18 665
论如何实现SVM中的正则化，让向量w尽可能小。
机器学习-支持向量机器（SVM）
iamfromhuoxing的博客
08-14 891
数字识别。
机器学习（1）-K均值聚类
x1664的博客
08-18 552
1、K-means基本概念：是一种无监督学习方法，不依赖人工标注的类别，而是根据数据本身的特征，将相似的数据点自动分为若干类。给定一个参数，表示希望划分成的簇（cluster）数量；找到每个簇的“中心点”（质心，centroid），让同一簇内的点尽可能相似，不同簇之间的点尽可能不同。
8.15 机器学习（2）K最近邻算法
2301_82188844的博客
08-15 255
1、定义：K 近邻（K-Nearest Neighbor, KNN）用最近的 K 个已知样本代表/决定未知样本的类别。预测X和Y的值，选择最优K值交叉验证，标明范围。适用小规模、低维、类别边界不规则的数据。④ 统计这 K 个邻居中类别出现频率，K 值选择、距离度量方式决定模型效果。练习：导入葡萄酒数据集（为分类问题）① 计算未知点到所有已知点的距离，③ 选前 K 个（K ≤ 20），⑤ 将频率最高的类别作为预测结果，三、鸢尾花数据集练习（为分类问题）将他们分类、增加特征、类别名。② 按距离升序排序，
2021 IEEE【论文精读】用GAN让音频隐写术骗过AI检测器 - 对抗深度学习的音频信息隐藏
AI+跨行业应用探索实践者
08-15 1056
本文详解2021年IEEE论文《Learning to Generate Steganographic Cover for Audio Steganography Using GAN》的核心创新点。该方法通过生成对抗网络自动学习生成优质隐写载体音频，采用生成器、判别器和隐写分析器三方对抗训练，实现了对深度学习检测器的主动防御。实验表明，在各种嵌入率下检测准确率接近50%随机猜测水平，PESQ评分达4.42，成功实现了高感知质量与强抗检测性的双重目标。
BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain
rainsky1992的博客
08-18 452
基于深度学习的技术在各种识别和分类任务中已取得了最先进的性能。本文指出，外包训练会引入新的安全风险：攻击者可以创建一个恶意训练的网络（即带有后门的神经网络，称为 BadNet），该网络在用户的训练和验证样本上表现优异，但在攻击者选择的特定输入上却会表现异常。接着，我们在更现实的场景中展示了后门的应用：构建了一个美国街道标志分类器，当在停车标志上贴上特定的贴纸时，它会将其识别为限速标志。我们进一步展示，即使该网络后来被重新训练用于其他任务，这一后门仍然可能存在，并在触发后门时平均导致准确率下降 25%。
python基于机器学习进行数据处理与预测（火灾的三因素回归问题）
2302_76790436的博客
08-18 880
本文基于温度、CO浓度和烟雾三个特征，采用三种机器学习方法（SVM、神经网络和随机森林）实现火灾检测的三分类任务（无火、阴燃火、明火）。通过采集大量样本数据，分别构建了三种分类模型，并详细介绍了模型训练和预测过程。实验结果表明，这些方法能有效区分不同火灾状态，其中SVM采用RBF核函数，神经网络使用单隐藏层结构，随机森林则通过多决策树集成实现分类。每种方法均提供模型保存和加载功能，便于实际部署应用。该研究为基于多参数传感的火灾智能检测提供了可行方案。
机器学习---KNN算法
JYB0918的博客
08-15 466
KNN（K最近邻）算法通过“邻居投票”机制进行分类预测，其核心逻辑类似于根据周围人的选择判断餐厅好坏。文章以天气预测为例，详细解析KNN的运作流程，包括数据准备、距离度量、K值选择和结果评估。该算法优势在于无需训练、可解释性强，但存在计算量大、维度灾难等局限。优化方法包括降维、索引加速和加权投票。KNN适用于小规模数据、快速验证和需高解释性的场景，是机器学习入门的经典算法，体现了“复杂问题源于简单观察”的底层逻辑。文末还通过学生兴趣预测实验，直观展示了KNN的优缺点。
机器学习 - Kaggle项目实践（3）Digit Recognizer 手写数字识别
nju_spy的博客
08-15 1172
本文介绍了使用卷积神经网络(CNN)进行手写数字识别的完整流程。首先对MNIST数据集进行预处理，包括归一化、reshape和one-hot编码。然后构建包含两个卷积块(5x5和3x3卷积核)的CNN模型，采用批归一化和Dropout防止过拟合。训练过程中使用学习率退火和数据增强策略，最终在验证集上达到了99.5%的准确率。文章还展示了损失/准确率曲线、混淆矩阵分析以及典型错误样本的可视化，最后生成测试集预测结果并提交。整个流程涵盖了数据预处理、模型构建、训练优化和结果评估等关键环节。
机器学习之数据预处理（一）
2302_76756558的博客
08-18 597
数据预处理是机器学习流程中至关重要的一步，直接影响模型性能。，包括处理缺失值、异常值、标准化特征、编码类别变量等。
浙大《人工智能引论》SVM课件-支持向量机解析
"该资源是浙江大学研究生课程《人工智能引论》的课件，由徐从富教授编写，主要讲解了支持向量机(SVM)的相关知识。通过一个简单的例子展示了SVM的工作原理，并探讨了统计学习理论在SVM中的应用及其重要性。课件还涉及...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值