自然语言处理-3-支持向量机

1、分类问题

分类平面 ：指的是分类器的决策边界，能够将不同类别的数据点分开。
函数距离 ：函数距离的正负可以表示分类的正确性和信心。
几何距离 : 几何距离可以表示样本点到分类平面的距离。
支持向量和支持平面 : 最靠近分类平面的点是支持向量，支持向量构成支持平面。
分类器的分类间距 ：指的就是支持平面之间的距离。

2、支持向量机

2.1 核心思想

最大化分类间距

2.2 相关算法

拉格朗日乘子法
梯度下降算法
拉格朗日函数的min-max等价转换
对偶问题的转化

2.3 结论

支持向量机的预测只与支持向量有关，非支持向量的样本点不起作用。

3、松弛变量

在进行最大化分类间距的时候，样本点并不总是线性可分的，在下图中，右上方的红色样本点背离了下方的红色群体，同时左下方的样本点背离了上方的蓝色群体，这种点我们称之为离群点。这时候可以引入松弛变量，容忍这些不可分数据，新的优化目标是最大化分类间隔，最小化离群距离。这种情况下可以对拉格朗日问题的对偶问题进行求解。

4、核函数

松弛变量只适用于离群点较少的情况，也就是线性不可分的情况不太严重时适用，如果线性不可分情况非常严重，需要进一步进行空间映射 ，将低维的线性不可分问题转化为高维的线性可分问题。

这个时候需要引入核函数，完成低维到高维空间的映射。