7、通用判别模型学习方法及应用

通用判别模型学习方法及应用

1 判别模型学习的通用框架

在机器学习中，若我们仅以经验风险最小化（ERM）为唯一目标来学习判别模型，可能会因过拟合而无法达到最佳性能。因此，我们引入了一种更通用的学习框架——最小化正则化经验风险。

1.1 软支持向量机（SVM）的优化问题

软支持向量机（SVM）的主要问题可以表示为：
[
\begin{align }
\min_{w,b,\xi_i}&\frac{1}{2} w^T w + C \sum_{i = 1}^{N} \xi_i\
\text{subject to}&\ y_i(w^T x_i + b) \geq 1 - \xi_i\
&\xi_i \geq 0, \forall i \in {1, 2, \cdots, N }
\end{align }
]
基于上述约束条件，我们可以将(\xi_i)的两个不等式合并为一个紧凑表达式：
(\xi_i \geq \max(0, 1 - y_i(w^T x_i + b)))
我们定义一个新的函数——铰链函数(H_1(x) = \max(0, 1 - x))，它是一个单调非增的分段线性函数。这样，(\xi_i)可以表示为(\xi_i \geq H_1(y_i(w^T x_i + b)))。由于在目标函数中我们要最小化所有(\xi_i)的和，所以(\xi_i)的最优值为(\xi_i^* = H_1(y_i(w^T x_i + b)))。

将(\xi_i^*)代入软SVM问题中，我们可以将其重新表述为一个无约束优化问题：
[