27、回归选择、反向传播与模糊模型的融合应用

回归选择、反向传播与模糊模型的融合应用

1. 回归选择与反向传播的结合

在处理小波网络时，我们可以使用之前提到的任何程序来初始化小波网络（85）。之后，通过反向传播程序对该网络进行进一步训练。需要注意的是，在（85）中我们使用向量膨胀参数 (a_i)，但在回归选择程序中，(W) 中的膨胀参数 (a_t) 是标量。

1.1 操作步骤

1. 参数转换 ：在应用任何反向传播程序之前，将回归选择程序得到的标量膨胀参数转换为具有相同分量的向量。
2. 选择训练算法 ：标准的反向传播是一种随机梯度程序，但由于初始化程序的良好性能，我们更倾向于使用拟牛顿算法来训练小波网络。
3. 模型改进 ：为了更好地捕捉回归中的线性特性，我们将（85）替换为：
   [
   f_n(x) = \sum_{i=1}^{n} u_i\varphi(a_i * (x - t_i)) + c^T x + b
   ]
   其中，额外的参数 (c \in R^d)，(b \in R)。相应地，初始化程序也会进行轻微修改。

2. 模糊模型：在非线性非参数模型中表达先验知识

2.1 模糊规则与非参数模型中的先验知识

2.1.1 输入变量与模糊集成员函数

输入变量是标量，记为 (x_1, \cdots, x_d)。输入位置通过模糊集成员函数进行编码，即函数 (\mu_A(x_i))，其值在 ([0, 1]) 范围内，其中符号 (A) 只是一