反向传播数学原理

什么是反向传播（BP），有什么作用？

“正向传播求损失，反向回传误差”，在前向传播(FP)后，可获得损失函数，在损失函数基础上，利用复合函数链式求导法则，从后向前，分别对每个权重、偏置进行梯度下降，利用学习率更新权重与偏置，以获得最小损失的参数（权重、偏置）与模型。

反向传播数学原理

如下图有一个神经网络：

初始化权重与偏置如下：

w=(0.1, 0.15,0.2, 0.25, 0.3, 0.35, 0.4, 0.45, 0.5, 0.55, 0.6, 0.65)

b=(0.35, 0.65)

1 正向传播：

同理，计算得：

2 反向传播

BP过程（w7）

w8+= 0.453383

w9+= 0.458137

w10+=0.553629

w11+=0.557448

w12+=0.653688

BP过程（w1）

FP多次迭代效果

第10资迭代结果： O=（0.662866， 0.908195）

第100资迭代结果 O=(0.073889, 0.945864)

第1000次迭代结果：O=(0.022971, 0.977675)