【神经网络基础】矩阵的运算

三层神经网络（也称为前馈神经网络，包括输入层、隐藏层和输出层）的矩阵运算主要涉及权重矩阵和激活函数的结合，用于信息的传递和处理。以下是典型的矩阵运算步骤： 1. **输入层到隐藏层（线性变换）**： - 假设输入向量为\( x \)，权重矩阵从输入层到隐藏层为\( W^{(1)} \)。首先，将输入乘以权重矩阵得到线性组合： \( z^{(1)} = W^{(1)}x \) - 这里的\( z^{(1)} \)被称为隐单元的预激活值。 2. **添加偏置**： - 对每个隐单元，我们还要加上一个偏置项\( b^{(1)} \)： \( a^{(1)} = f(z^{(1)}) = f(W^{(1)}x + b^{(1)}) \) - \( f(\cdot)\)是激活函数，如Sigmoid、ReLU等，这里的\( a^{(1)} \)是隐藏层的实际输出。 3. **隐藏层到输出层（同样进行线性变换和激活）**： - 类似地，通过另一个权重矩阵\( W^{(2)} \)和偏置\( b^{(2)} \)计算输出层的预激活值： \( z^{(2)} = W^{(2)}a^{(1)} + b^{(2)} \) - 最终输出层的值为经过激活函数的\( z^{(2)} \)，即网络的预测结果。 整个过程中，矩阵操作简化了计算流程，使得大量的样本可以同时处理。每个节点（不论是输入、隐藏还是输出）都对应矩阵的一个元素，这样就可以利用矩阵乘法一次性处理所有节点。