西瓜书学习笔记：支持向量机（6.1-6.2）笔记

最新推荐文章于 2024-07-29 21:43:51 发布

原创最新推荐文章于 2024-07-29 21:43:51 发布 · 535 阅读

·

0

·

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

机器学习专栏收录该内容

24 篇文章

订阅专栏

本文深入探讨了支持向量机(SVM)的基本原理，包括模型的建立、求解及其性质。详细解析了SVM的原始公式推导，解释了为什么支持向量机平面位于特定位置的原因。此外，还介绍了SVM对偶形式的推导过程，并讨论了SMO算法在求解SVM问题中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

机器学习西瓜书学习笔记

目录

1.支持向量机原型模型的建立和求解

1.1常见的几何性质

1.2SVM原始公式的导出

1.3SVM的性质

为什么支持向量机平面在上？

2.SVM对偶形式的推导

2.2对偶问题介绍

3.SVM的求解算法SMO

1.支持向量机原型模型的建立和求解

1.1常见的几何性质

点到平面的距离公式推导

1.2SVM原始公式的导出

aa

1.3SVM的性质

由1.2SVM原始公式导出可以知道， $\tiny \gamma =\frac{2}{||w||}$

为什么 $\tiny d^+=d^-=d^*=\frac{1}{2}\gamma =\frac{1}{||w||}$ ?

因为支持向量机定义为距离间隔最近的向量，如果间隔超平面不在中间，那么我们可以找到中间的那个平面到支持向量机的距离更近，从而推翻假设的间隔超平面不是超平面。

为什么支持向量机平面在 $\tiny w^Tx+b=\pm1$ 上？

间隔超平面定义为： $\tiny w^Tx+b=0$

支持向量机定义： $\tiny w^Tx+b^,=0$

由支持向量定义知道， $\tiny w^Tx+b=0$ 与 $\tiny w^Tx+b^,=0$ 平行，因为如果这两个平面不平行，那么他们一定会相交于某一点，这样就与支持向量机定义相悖。

因为原点到平面的距离： $\tiny \frac{-b}{||w||}$ ，那么原点到间隔超平面和支持向量机平面的距离分别为： $\tiny \frac{-b}{||w||}$ ， $\tiny \frac{-b^,}{||w||}$

所以间隔超平面到支持向量机的距离： $\tiny d=||\frac{-b}{||w||^2}.w-\frac{-b^,}{||w||^2}.w||$

$\tiny \Rightarrow d=||\frac{-b+b^,}{||w||}||=\frac{1}{||w||}$

$\tiny \Rightarrow ||b^,-b||=1\Rightarrow b^,=b\pm1$

支持向量机为： $\tiny w^Tx+b=1$ 或 $\tiny w^Tx+b=-1$

3.svm间隔超平面的存在性：

因为数据是线性可分的，所以一定存在间隔超平面。因为SVM的数学形式是有下界的，所以一定能够求得一个最优解。

4.SVM间隔超平面唯一性证明

最大间隔分离超平面的唯一性完整证明

2.SVM对偶形式的推导

二次规划：

拉格朗日法：

拉个朗日函数的应用：

2.2对偶问题介绍

$\tiny \frac{\partial L}{\partial w}$ 最后两步怎么来的？

矩阵求导、几种重要的矩阵及常用的矩阵求导公式

6.11公式求解过程如上图

最后一步右边如何得到的：

多项式 $\tiny （x_1+x_2+....+x_n）(x_1+x_2+....+x_n)$ $\tiny (x_1+x_2+...+x_n)(x_1+x_2+...+x_n)$ 可以得到n*n项。

写成求和形式就是： $\tiny \sum^nx_i\sum^nx_j=\sum^n\sum^nx_ix_j$

拉个朗日函数补充：

KKT条件：

KKT条件有四个约束，第一个约束： $\tiny \partial L/\partial x=0$ ,拉格朗日函数对变量求偏导等于0.

regularity condition?

放射函数：AX+b，表示成这种形式，A为矩阵，b为向量。

图上的g(x)就是h(x)

$\tiny \lambda _kh_k(x)=0\Rightarrow \lambda _k>0,h_k(x)=0 or\lambda_k=0,h_k(x)<0$ 他们是不等式约束（解在边界上和非边界上）的综合。

这里只讲了一个约束，事实上他们一共有m+p个约束，很多个约束时不一定共线，只要他们的向量之和等于0就可以了。

3.SVM的求解算法SMO

SVM问题的求解方法SMO算法

参考文献：

点到平面的距离公式推导

最大间隔分离超平面的唯一性完整证明

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

打赏作者

haimianjie2012 你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20

扫码支付：¥1

获取中

扫码支付

您的余额不足，请更换扫码支付或充值

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。