浙大胡教授ML课学习记录_2.3_SVM_引入核函数

核函数

1. 内容回顾

上一节讲到引入了低维向高维映射 $\phi (x)$ 后的优化问题
最小化：
$$\begin{array}{rl}& \frac{1}{2}||\omega |{|}^2+C\sum _{i=1}^n{\delta }_i\\ 或& \\ & \frac{1}{2}||\omega |{|}^2+C\sum _{i=1}^n{\delta }_i^2\end{array}$$
限制条件：
$$\begin{array}{rl}& (1){\delta }_i\ge 0\\ & (2)y_i[{\omega }^T\phi (x_i)+b]\ge 1-{\delta }_i\end{array}$$

这一节来研究 $\phi (x_i)$ 的形式

2. 引入核函数

Vapnik 提到不用知道 $\phi (x)$ 的具体形式，只要知道一个核函数$K(x_1,x_2)$
$$K(x_1,x_2)=\phi (x_1{)}^T\phi (x_2)$$
使得优化问题一样可解。

$K(x_1,x_2)$ 的结果将是一个数。

下面两个例子来说明核函数以及低维到高维的映射 $\phi (x)$ 的关系。

2.1 例子

eg1 已知 $\phi$ 求 $K$

假设：
$\phi (x)$ 是一个将二维向量映射为三维向量的映射

假设有两个二维向量 $x_1,x_2$

那么分别对应的映射$\phi (x_1),\phi (x_2)$为

核函数 $K(x_1,x_2)$ 为

eg2 已知 $K$ 求 $\phi$

假设 $K$ 与 $\phi$ 关系为

且 $x_i$ 为二维向量

则根据观察，映射 $\phi (x)$ 为

eg 小结

1. 核函数和映射是一一对应的关系
2. 核函数的形式不能随意的取，必须满足一定条件才能分成两个 $\phi$ 内积的形式

2.2 Mercer’s 定理

$K(x_1,x_2)$ 能写成 $\phi (x_1{)}^T\phi (x_2)$ 的充要条件：

其中 $C_i$ 为任意实数

例如，可以证明
高斯核函数，满足 Mercer’s 定理

$K(x_1,x_2)$ 可以被写成 $\phi (x_1{)}^T\phi (x_2)$ 的形式（目前还不会证明，回头试试）

3. 总结

这节讲了虽然不知道映射 $\phi$ 的形式，但是可以通过核函数来得到 ${\omega }^T\phi (x)+b$ 的值，进而直到样本所属类别。（下一节具体研究已知 $K$ 不知 $\phi$ 求解 SVM 的优化问题，下一节对偶定理把我搞懵了，埋个坑）