SVM

SVM目的：选择有最大间隔的线性分类器(linear separator)
三个关键：通过优化求解，需找到最大间隔分类面，使用核技巧解决非线性问题

1.线性可分的SVM

VC维（VC Dimension）

使用VC维来衡量一类函数的复杂度：
$l$个点，每个点可以被标记为正类负类样本，可以有$2^l$中标记方法。如果在函数集$H$中有一个函数$f$可以将样本正确分类，则称这些点可以被$H$分类开。函数集$H$的VC维定义为可以以被分散开的最大训练数据点数。
在$d$为空间内，VC维为$d+1$：$H$ $in$ $R^d->VC$ $Dimension=d+1$
如二维空间内，VC维为3，即二维空间内函数集$H$最多可以分类的点数为3个，分为8类。

SVM模型

VC维有上界，其中R是样本点构成的圆的半径，$\gamma$为$margin$间隔，$h$为VC维。给定样本后，$\gamma$约大可以使得VC维越小，从而模型的复杂度越小：$$h\le \frac{4R^2}{{\gamma }^2}$$
如图红色是一个分类器，点x为一个样本点。$\gamma$定义为离分类平面最近的样本点到分类平面的距离，$\gamma =\frac{y(x)}{||w||}=\frac{wx+w_0}{||w||}$

推导$\gamma =\frac{1}{||w||}$：

定义每个样本到分类面的距离为${\gamma }_i$
定义$\gamma \underset{i}{\min }{\gamma }_i$
$x_1$为离分类面最近的点，$x_2$为分类面上一点，
$$有\{\begin{array}{r}w\ast x_1+b=1\\ w\ast x_2+b=0\end{array}\text{\hspace{1em}(1)}$$
两式子相减有$$w\ast (x_1-x_2)=1\text{\hspace{1em}(2)}$$
又有$$x_1-x_2=\gamma \frac{w}{||w||}，其中\frac{w}{||w||}是法向量的方向向量\text{\hspace{1em}(3)}$$
将（3）带入（2）有$$1=w\ast (\gamma \frac{w}{||w||})=\frac{\gamma }{||w||}w\ast w=\gamma ||w||$$
则有$$\gamma =\frac{1}{||w||}$$
则最大化间隔则变为最小化$||w||$
则优化目标可以写作$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2$，因为还要需要保证分类正确性，则添加约束有：
$$SVM:\{\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}||w|{|}^2\\ & s.t.\forall i,(w^T{x}^{(i)}+b)t^{(i)}\ge 1，t解决正负号问题\end{array}\text{\hspace{1em}(4)}$$

加入拉格朗日乘子

将约束转化为引入了拉格朗日乘子的无约束优化
$$L(w,b,{\alpha }_i)=\frac{1}{2}{w}^{T}w-\sum _{i=1}^l{\alpha }_i[y_i(w^T{x}_i+b)-1]\text{\hspace{1em}(5)}$$

对偶问题形式的SVM

对(5)中$w,b$分别求偏导，有
$$\begin{array}{rl}{\nabla }_{w}L(w,b,{\alpha }_i)=0& \to \mathbf{w}=\sum _{\mathbf{i}=1}^{\mathbf{l}}{\mathbf{\alpha }}_{\mathbf{i}}{\mathbf{y}}_{\mathbf{i}}{\mathbf{x}}_{\mathbf{i}}\\ {\nabla }_{b}L(w,b,{\alpha }_i)=0& \to \sum _{i=1}^l{\alpha }_i{y}_i=0\end{array}\text{\hspace{1em}(6)}$$

将(6)带入(5)中，有
$$\begin{array}{rl}对偶形式的SVM：L(w,b,{\alpha }_i)& =\frac{1}{2}\sum _{i=1}^l\sum _{j=1}^l{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j-\sum _{i=1}^l{\alpha }_i[y_i(\sum _{j=1}^l{\alpha }_j{y}_j{x}_j\ast x_i+b)-1]\\ & =\frac{1}{2}\sum _{i=1}^l\sum _{j=1}^l{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j-\sum _{i=1}^l{\alpha }_i{y}_i\sum _{j=1}^l{\alpha }_j{y}_j{x}_j{x}_i-\sum _{i=1}^l{\alpha }_i{y}_{i}b+\sum _{i=1}^l{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1}^l\sum _{j=1}^l{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j-\sum _{i=1}^l{\alpha }_i{y}_{i}b+\sum _{i=1}^l{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1}^l\sum _{j=1}^l{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j+\sum _{i=1}^l{\alpha }_i\\ & s.t.\sum _{i=1}^l{\alpha }_i{y}_i=0,{\alpha }_i\ge 0,\forall i=1,...,l\end{array}$$

KKT条件

目标是最小化$f(x)$,其受约束于$g(x)\le 0$，即$\underset{x\in R^2}{\min }f(x),s.t.g(x)\le 0.$
引入拉格朗日乘子后：$$L(x,\lambda )=f(x)+\lambda g(x)$$
当$x^{\ast }$是局部最优时$\iff$存在一个唯一的${\lambda }^{\ast }$受约束于
KKT条件：{1)   ∇xL(x∗,λ∗)=02)   λ∗≥03)   λ∗g(x∗)=04)   g(x∗)≤05)   Plus positive definite constraints on ∇xxL(x∗,λ∗)(7)KKT条件：\left\{ \begin{aligned} &1)~~~\nabla_xL(x^*,\lambda^*)=0\\ &2)~~~\boldsymbol{ \lambda^*\geq 0}\\ &3)~~~\boldsymbol{ \lambda^*g(x^*)=0 }\\ &4)~~~\boldsymbol{ g(x^*)\leq0}\\ &5)~~~Plus~positive~definite~constraints~on~\nabla_{xx}L(x^*,\lambda^*)\tag7\\ \end{aligned} \right.KKT条件：⎩⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎧​​1)   ∇x​L(x∗,λ∗)=02)   λ∗≥03)   λ∗g(x∗)=04)   g(x∗)≤05)   Plus positive definite constraints on ∇xx​L(x∗,λ∗)​(7)
情况1(inactive未激活)：${\lambda }^{\ast }=0$时，$L(x^{\ast },{\lambda }^{\ast })=f(x^{\ast })$，满足条件2和条件3，其中条件1中可推出${\nabla }_{x}f(x^{\ast })=0$，条件4可推出$x^{\ast }$是一个可行解
情况2(activate激活)：当${\lambda }^{\ast }\ge 0$，则有$L(x^{\ast },{\lambda }^{\ast })=f(x^{\ast })+{\lambda }^{\ast }g(x^{\ast })$，满足条件2，
其中条件1可推出${\nabla }_{x}f(x^{\ast })=-{\lambda }^{\ast }{\nabla }_{x}g(x^{\ast })$
条件3可推出$g(x^{\ast })=0$，和$L(x^{\ast },{\lambda }^{\ast })=f(x^{\ast })$

式子(6)中有$w={\sum }_{i=1}^l{\alpha }_i{y}_i{x}_i$,根据KKT条件有，$x^{\ast }={\alpha }_i$使，有
$$KKT条件：\{\begin{array}{rl}& 0\le {\alpha }_i\\ & {\alpha }_i\ast [y_i(w^{T}x+b)-1]=0\\ & y_i(w^{T}x+b)-1\ge 0\end{array}$$
未激活：${\alpha }_i=0and{y}_i(w^{T}x+b)>1$
激活：${\alpha }_i>0and{y}_i(w^{T}x+b)=1$，对应于样本点在分类平面上，这些样本称作支持向量

2.软间隔-引入松弛变量

$$soft-mrginSVM\{\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}||w|{|}_2^2+C\sum _{i=1}^l{\xi }_i\\ & s.t.(w^T{x}^{(i)}+b)t^{(i)}\ge 1-{\xi }_i,\forall i=1,...,l\end{array}$$
${\xi }_i$越大，该样本分类错误越大
$$\begin{array}{rl}软间隔对偶形式的SVM：L(w,b,{\alpha }_i)& =-\frac{1}{2}\sum _{i=1}^l\sum _{j=1}^l{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j+\sum _{i=1}^l{\alpha }_i\\ & s.t.\sum _{i=1}^l{\alpha }_i{y}_i=0,0\le {\alpha }_i\le C,\forall i=1,...,l\end{array}$$

3.核技巧和非线性问题

通过核函数可以将低维空间的数据增加到高维空间，使得非线性问题转换为线性可分数据。
$\varphi (x)$表示将$x$映射到高维的过程，定义核函数为$$核函数：K(x_i,x_j)=\varphi (x_i{)}^T\varphi (x_j)$$
则对应的使用核函数对偶形式的SVM为：
$$\begin{array}{rl}使用核函数的软间隔对偶形式的SVM：L(w,b,{\alpha }_i)& =-\frac{1}{2}\sum _{i=1}^l\sum _{j=1}^l{\alpha }_i{\alpha }_j{y}_i{y}_j\kappa (x_i,x_j)+\sum _{i=1}^l{\alpha }_i\\ & s.t.\sum _{i=1}^l{\alpha }_i{y}_i=0,0\le {\alpha }_i\le C,\forall i=1,...,l\end{array}$$
例：若原始输入为$x=[x_1,x_2]$，二维映射到6维数据

$$映射关系为\varphi \left(\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]\right)=1,\sqrt{2}{x}_1,\sqrt{2}{x}_2,x_1^2,x_2^2,\sqrt{2}{x}_1{x}_2$$
则映射后的两个$x$做点积需要求$$\left[\begin{array}{c}\varphi \left(\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]\right)，\varphi \left(\left[\begin{array}{c}{x}_1^{\prime }\\ x_2^{\prime }\end{array}\right]\right)\end{array}\right]$$
若找到对应的核函数为$$K(x,x^{\prime })=(1+x^T{x}^{\prime }{)}^2$$，则不用求映射后的点积，直接将$x与x^{\prime }$代入核函数

如何找核函数：Mercer 核理论
核矩阵：$K(i,j)=\varphi (x_i{)}^T\varphi (x_j)=K(x_i,x_j)$
有效核需满足：
$$\{\begin{array}{rl}& K=K^T，核矩阵对称，即核函数关于两个输入对称\\ & y^{T}Ky\ge 0\forall y,核矩阵正定\end{array}$$
若一个核函数$K$对所有样本都可以算出核矩阵，且核矩阵对称半正定，则核函数有效
常见核函数

常见核函数构造：
（1）$\kappa (x,z)=a_1{\kappa }_1(x,z)+a_2{\kappa }_2(x,z)$
（2）$\kappa (x,z)={\kappa }_1(x,z){\kappa }_2(x,z)$
（3）$\kappa (x,z)=f_1(x)f_2(x),f_1和f_2$为将x映射到实数的函数

4.SVM求解

使用核函数的软间隔对偶形式的SVM:
$$\begin{array}{rl}L(w,b,{\alpha }_i)& =-\frac{1}{2}\sum _{i=1}^l\sum _{j=1}^l{\alpha }_i{\alpha }_j{y}_i{y}_j\kappa (x_i,x_j)+\sum _{i=1}^l{\alpha }_i\\ & s.t.\sum _{i=1}^l{\alpha }_i{y}_i=0,0\le {\alpha }_i\le C,\forall i=1,...,l\end{array}$$
SMO算法：
固定${\alpha }_i$以外的参数，则${\alpha }_i$可由其他参数$\alpha$导出，求得${\alpha }_i$上的极值。SMO每次选择两个变量${\alpha }_i$和${\alpha }_j$，对$L(w,b,{\alpha }_i)$进行求解，更新${\alpha }_i$和${\alpha }_j$，不断重复，直至收敛
求解参数w:
$$w=\sum _{i=1}^l{\alpha }_i{y}_i{x}_i$$
求解参数b:
支持向量$x_n$满足$t_{n}y(x_n)=1$,n表示第n个样本，则$t_n({\sum }_{m\in S}{a}_m{t}_{m}k(x_n,x_m)+b)=1$，左右同乘$t_n$
所有支持向量可以计算出一个稳定的解：$$b=\frac{1}{N_S}\sum _{n\in S}(t_n-\sum _{m\in S}{a}_m{t}_{m}k(x_n,x_m))$$

5.SVM与逻辑回归

$hinge$损失函数
$$SVM\{\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}||w|{|}_2^2+C\sum _{i=1}^l{\xi }_i\\ & s.t.(w^T{x}_i-b)y_i\ge 1-{\xi }_i,\forall i=1,...,l\end{array}$$
${\xi }_j=\max (0,1-(w{x}_j+b)y_j)$代入SVM有
$$SVM=\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}||w|{|}_2^2+C\sum _{i=1}^{l}max(0,1-(w{x}_j+b)y_j)\end{array}$$
定义$hingeloss:l_{hinge(y,\hat{y})}=max(0,1-y\hat{y}),预测值为\hat{y}=w{x}_j+b$
$$SVM=\underset{w,b}{\min }\frac{1}{2}||w|{|}_2^2+C\sum _{i=1}^l{l}_{hinge}(y_j,w{x}_j+b)$$
绿色为$hinge$损失函数，红色为0-1损失函数
逻辑回归、$hinge$损失及0-1损失：都可以表示为w^=arg⁡min⁡wλ2∥w∥2+∑n=1NL(t^nwTϕ(xn))，t^n∈{+1,−1}\hat w=\arg \min_w{\lambda \over 2}\|w\|^2+\sum^N_{n=1}L(\hat t_nw^T\phi(x_n))，\hat t_n\in\{+1,-1\}w^=argwmin​2λ​∥w∥2+n=1∑N​L(t^n​wTϕ(xn​))，t^n​∈{+1,−1}
经验总结：
n表示特征数，m表示样本数

过拟合
通过控制$C$、核、核的参数来控制过拟合