SVM熟练到精通3：核函数与非线性分类

最新推荐文章于 2025-06-30 18:30:00 发布

沈子恒

最新推荐文章于 2025-06-30 18:30:00 发布

阅读量1w

点赞数 4

CC 4.0 BY-SA版权

分类专栏：深度学习|图像分割

本文链接：https://blog.csdn.net/shenziheng1/article/details/53883745

本文深入探讨支持向量机（SVM）如何利用核函数解决非线性分类问题。通过非线性映射和核函数的概念，解释了如何将数据映射到高维空间实现线性可分，同时介绍了多项式核、高斯核和线性核等常用核函数的特性和应用场景。SVM借助核方法在计算量不变的情况下实现了非线性问题的高效处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章引自pluskid于2010年发表于“Machine Learning”板块，本文仅做编辑。

1.回顾

前面我们介绍了线性情况下的支持向量机，它通过寻找一个 线性的超平面来达到对数据进行分类的目的。不过，由于是线性方法，所以对非线性的数据就没有办法处理了。例如图中的两类数据，分别分布为两个圆圈的形状，不论是任何高级的分类器，只要它是线性的，就没法处理，SVM 也不行。因为这样的数据本身就是线性不可分的。

2.非线性映射与核函数

对于这个数据集，我可以悄悄透露一下：生成它的时候就是用两个半径不同的圆圈加上了少量的噪音得到的，所以，一个理想的分界应该是一个“圆圈”而不是一条线（超平面）。如果用 X1 和 X2 来表示这个二维平面的两个坐标的话，我们知道一条二次曲线（圆圈是二次曲线的一种特殊情况）的方程可以写作这样的形式：

a1 X1+ a2 X21+ a3 X2+ a4 X22+ a5 X1 X2+ a6=0

注意上面的形式，如果我们构造另外一个五维的空间，其中五个坐标的值分别为 Z1=X1, Z2=X21, Z3=X2, Z4=X22, Z5=X1X2，那么显然，上面的方程在新的坐标系下可以写作：

∑ i=15 a i Z i+ a6=0

关于新的坐标 Z ，这正是一个 hyper plane 的方程！也就是说，如果我们做一个映射 ϕ:R2→R5 ，将 X 按照上面的规则映射为 Z ，那么在新的空间中原来的数据将变成线性可分的，从而使用之前我们推导的线性分类算法就可以进行处理了。这正是 Kernel 方法处理非线性问题的基本思想。