前向传播过程的向量化表示,以及所有公式对应维度如下:
反向传播过程的向量化表示如下,所有符号维度和前向传播的一致:
实现一个3层神经元,输入层4个神经元,隐藏层3个神经元,输出层2个神经元的代码如下:
import numpy as np
def parameter_initializer(n1, n2, n3):
""" 初始化权值 """
w1 = np.random.normal(scale=(2.0/n1)**0.5, size=(n1, n2))
b1 = np.zeros(shape=(1,n2))
w2 = np.random.normal(scale=(2.0/n2)**0.5, size=(n2, n3))
b2 = np.zeros(shape=(1, n3))
return w1, b1, w2, b2
def sigmoid(z):
a