感知器算法

1． 感知器算法 感知器算法是通过训练模式的迭代和学习算法，产生线性可分的模式判别函数。感知器算法就是通过对训练模式样本集的“学习”得出判别函数的系数解。在本次实验中,我们主要是采用硬限幅函数进行分类。 感知器的训练算法如下： 设输入矢量 ， 加权矢量 ,则神经元 的输出可通过下式来计算 （1） 这里对于训练结束我们判断的依据是实际输出值与理想预期值之间误差的均方值最小。定义 它的均方值记作 ,令 , 则可以推出 （2） 可证存在最佳的加权矢量 ，使 达到最小。解得 （3） 式（3）给出了求最佳加权矢量的方法，但是需要做大量的统计计算，并且需要解决高阶矩阵求逆的问题，这些都是非常困难的。于是我们给出一种递推求解的方法： 在给定初始权值后，以这种方法可以得到递推公式： （4） 用这种方法虽然可以保证求得严格的最佳解，且避开了矩阵求逆的困难，但学习过程中的每一步仍需完成大量的统计计算。 2．BP算法 由于硬限幅函数是非可微函数,不能实现多层神经网络的一种有效的LMS学习算法。而BP算法中所用到的是Sigmoid型函数，它既具有完成分类所需的非线性特性，又具有实现LMS算法所需的可微特性。采用S型函数的神经元的输入和输出之间的关系为： （5） 采用了S型函数就可将用于单神经元的LMS学习算法适当推广，得到一种适用于前向多层神经网络的有效学习算法。 我们现在研究一个采用S型函数的前向三层神经网络来说明其原理。 对于训练样本p,它的输入是N维矢量X，X= ，网络的第一，二，三层分别包括J，K，M个神经元，它的总输出是一个M维矢量，Y= ，第i层到第i+1层之间的权重系数用 来表示。可设前向三层神经网络输出各个分量的理想值是 ,i=0,1,……M-1，而这些分量的实际值是 , i=0,1,……M-1，理想值和实际值之间的误差是 。各输出误差的平方和可以表示为： （6） 现在我们希望改变网络中的各个加权系数 ，使得 尽可能的减小。为此我们可以采取最陡下降算法的公式来调整权重系数 。公式如下： 式中的 是学习的步幅，它应随学习过程而变化。 对于通用神经层，它的各个输出 与各个输入 之间的关系可以表示为： 如果设 ，则 式中的 表示s型函数。我们不难看出上式即为给输入加一个恒等于1的部分，在神经网络中也应相应的加一个节点，而且这个节点的权系数就是这一层网络的阈值。经推倒可得权系数调整的递推公式如下： （7） 对输出层： 对隐含层： 现对于三层神经网络有 l=3时（输出层） l=2时（隐含层） l=1时（第一层） 其中： 可见，这一算法的计算过程是先计算第三层（即输出层）的各项“误差分量” ，然 后用 计算第二层（隐含层）的“等效误差分量” ，最后再用 计算第一层（隐含层）的“等效误差分量” ### 感知器算法与BP算法的关键知识点 #### 感知器算法 感知器算法是一种基础的监督学习算法，主要用于二分类问题。它的核心思想是通过不断调整权重向量来找到一个能够将不同类别的样本分开的决策边界。 **训练过程**: 1. **初始化**: 随机初始化权重向量w。 2. **输入输出计算**: - 输入向量\(\mathbf{x} = [x_1, x_2, \ldots, x_n]\)。 - 权重向量\(\mathbf{w} = [w_1, w_2, \ldots, w_n]\)。 - 输出\(y\)通过以下公式计算: \[ y = \text{sign}(\mathbf{w}^T \mathbf{x} + b) \] 其中，\(b\)是偏置项；\(\text{sign}\)函数返回输入的符号，即如果\(\mathbf{w}^T \mathbf{x} + b > 0\)，则\(y = +1\)；反之，则\(y = -1\)。 3. **更新权重**: - 如果预测结果\(y\)与真实标签\(t\)不一致，则更新权重向量\(\mathbf{w}\)和偏置项\(b\)： \[ \mathbf{w} \leftarrow \mathbf{w} + \eta t \mathbf{x} \] \[ b \leftarrow b + \eta t \] 其中，\(\eta\)是学习率，控制着更新的幅度。 4. **终止条件**: 当所有训练样本都能被正确分类时停止训练。 **特点**: - 感知器算法仅适用于线性可分的数据集。 - 使用硬限幅函数作为激活函数，这意味着当输入超过某个阈值时，输出会发生突变。 #### BP算法 BP(Back Propagation)算法是一种广泛应用于多层前馈神经网络中的优化算法，用于最小化网络输出与期望输出之间的误差。 **工作原理**: 1. **前向传播**: - 输入向量通过每一层神经元向前传播，直到计算出最终的输出。 - 每一层的输出计算公式如下: \[ z^{(l)} = \sigma(\mathbf{W}^{(l-1)} \cdot a^{(l-1)} + b^{(l)}) \] 其中，\(\mathbf{W}^{(l-1)}\)是从第\(l-1\)层到第\(l\)层的权重矩阵；\(a^{(l-1)}\)是第\(l-1\)层的输出向量；\(b^{(l)}\)是第\(l\)层的偏置向量；\(\sigma\)是激活函数，通常使用Sigmoid函数。 2. **误差计算**: - 在输出层，计算预测输出与实际输出之间的误差。 - 对于每个样本，误差可以通过下面的公式计算: \[ E = \frac{1}{2} \sum_{i=1}^{m} (y_i - t_i)^2 \] 其中，\(y_i\)是第\(i\)个神经元的输出；\(t_i\)是第\(i\)个神经元的目标输出。 3. **反向传播**: - 从输出层开始，反向计算每个神经元的误差项。 - 对于输出层: \[ \delta^{(l)} = (y - t) \cdot \sigma'(z^{(l)}) \] - 对于隐藏层: \[ \delta^{(l)} = (\mathbf{W}^{(l)} \cdot \delta^{(l+1)}) \cdot \sigma'(z^{(l)}) \] 4. **权重更新**: - 根据误差项和前一层的输出更新权重和偏置： \[ \Delta \mathbf{W}^{(l)} = -\eta \cdot \delta^{(l+1)} \cdot (a^{(l)})^T \] \[ \Delta b^{(l)} = -\eta \cdot \delta^{(l+1)} \] **特点**: - BP算法使用梯度下降法来优化网络参数，以减少预测误差。 - 适用于非线性分类问题，能够处理更复杂的特征空间映射。 ### 实验总结 #### 感知器算法实验结果 实验结果显示，即使只进行少量的训练迭代，感知器算法也能在简单的线性可分数据集上达到100%的分类准确率。这表明对于简单问题，感知器算法是一个快速有效的方法。 #### BP算法实验结果 BP算法的实验同样显示出了良好的性能。通过调整不同的参数（如学习率、隐藏层数量等），可以在较复杂的数据集上实现较高的分类准确率。BP算法的优点在于能够处理非线性问题，但同时也意味着它需要更多的计算资源和时间来进行训练。 感知器算法和BP算法各有优势，选择哪种算法取决于具体的应用场景和数据集的特点。感知器算法适用于线性可分问题且数据较为简单的情况，而BP算法更适合处理复杂、非线性的数据分类任务。