径向基函数网络正则化参数学习

### 径向基函数网络正则化参数学习 #### 1. 支持向量机与径向基函数的关系 支持向量机（SVM）使用高斯核时，对给定输入模式 $x$ 的响应计算方式与径向基函数（RBF）类似，都是高斯函数的叠加。不过，SVM 隐式映射到特征空间虽基于以每个输入模式为中心的高斯核，但实际计算中并非考虑所有模式。 在受限优化问题里，与每个训练模式 $x_i$ 相关的拉格朗日乘子 $\alpha_i$ 需满足 $0 \leq \alpha_i \leq C$，其中 $C$ 是给定的正则化超参数。受限优化的结果是，特定的 $C$ 值会使分离边界内满足约束的模式数量减少。多数样本的 $\alpha_i$ 为零，只有边界附近的样本对计算 SVM 响应有效。 SVM 考虑隐式核映射时，给定输入模式 $x$ 的分离超平面由以下公式给出： $b + \sum_{i=1}^{N} \alpha_i y_i K(x, x_i) = 0$ （3） 其中，$N$ 是训练样本总数，$y_i \in \{-1, 1\}$ 是训练样本 $x_i$ 的标签，$K$ 通常是高斯核函数。分类响应 $f(x)$ 通过以下决策函数获得： $f(x) = \begin{cases} 1, & \text{如果 } b + \sum_{i=1}^{N} \alpha_i y_i K(x, x_i) \geq 0 \\ -1, & \text{如果 } b + \sum_{i=1}^{N} \alpha_i y_i K(x, x_i) < 0 \end{cases}$ （4） 公式（3）中的决策函数实际上是所有以 $x$ 为自变量的高斯核的加权和，权重是相应拉格朗日乘子与标签的乘积。求和结果为正意味着正类对结果影响更大，为负则负类影响更大。实际上，求和可拆分为正负项，如下所示： $\sum_{i=1}^{N} \alpha_i y_i K(x, x_i) = \sum_{i=1}^{N_p} \alpha_i K(x, x_i) \quad (y_i = +1) - \sum_{j=1}^{N_n} \alpha_j K(x, x_j) \quad (y_j = -1)$ （5） 其中，$x_i \in C_p$（正类），$x_j \in C_n$（负类），$N_p$ 是正样本数量，$N_n$ 是负样本数量。 RBF 网络的输出层对投影进行线性分离，一旦确定 $m$ 个中心 $c_i$ 和权重 $w$，输入 $x$ 的分离超平面定义如下： $w_0 + \sum_{i=1}^{m} w_i K(x, c_i) = 0$ （6） 可以看出 SVM 和 RBF 网络的分类过程有相似之处，SVM 可看作 RBF 网络的一个特例，即所有样本都作为隐藏层的中心。这里提出了一种自动选择超参数来训练 RBF 网络的新方法。 公式（3）至（5）中的核求和可视为非归一化核密度估计（KDE）的加权和，是两个类相对于样本 $x$ 的边界样本（$\alpha \neq 0$）的似然估计。因此，SVM 分类函数（公式（4））对任意样本 $x$ 的评估实际上是在正负类的非归一化 KDE 密度空间中完成的。这一概念将在后续用于提出高斯核函数宽度选择的方法。 #### 2. 似然映射 SVM 的分类基于隐式核映射，而基于贝叶斯规则和核密度估计（KDE）的二分类同样基于核映射。对于二分类问题，一般贝叶斯规则 $P(x|C_1) - \frac{N_1}{N_2} P(x|C_2) \geq 0 \Rightarrow C_1$ 在似然函数 $P(x|C_1)$ 和 $P(x|C_2)$ 的空间中实现。 输入向量被映射到二维空间 $P(x|C_1) \times P(x|C_2)$，在此空间中，分类由线性判别函数 $P(x|C_1) = \frac{N_1}{N_2} P(x|C_2)$ 完成。 例如，经典螺旋分类问题的数据在给定 $\sigma$ 值下，用 KDE 估计概率并映射到似然空间 $P(x|C_1) \times P(x|C_2)$ 后，该空间中的问题可由直线 $P(x|C_1) = P(x|C_2)$ 线性分离（此例中 $\frac{N_1