实验1:
在一个简单的 仅有前向传播与反向传播的过程中,我们发现,无论前向传播的参数(w1,w2)是多少,再训练足够多代之后,都会通过后向传播得到相同的损失率。
实验1.1:
实验1.2:
通过两个实验我们可以发现,在改变w1,w2后,仅会使第一代的损失率不同,而在训练有限代之后,都会使最终的损失率相同。
实验2:
实验2主要是针对在Tensorflow深度学习模型中对参数(w1,w2)作用的探讨:
实验2.1:
在这个实验中,我们设一组数据是x1,x2,y_label: 当x1 + x2 < 0为1 否则为0
实验2.2:
在这个实验中,我们设一组数据是x1,x2,y_label = x1 + x2
实验过程:在实验2.2的实验中,参数仅有w[2,1],最后我们发现经过训练过程,w11,w12
都最终趋向于1,也就是y = x1 * w11 + x2 * w12 越来越趋向于现实值y_label。
结论:
参数的作用就是通过前向传播的矩阵运算与后向传播的迭代优化,找到由实际数据推出未来结果的公式。
还有一个问题其实也容易看出来,在实验2.2中,y与y_label都是float32的,但是实验2.1的并不是,其y_label是非0即1的,但是预测值y却并不是非0即1的,也就是该模型建立起来之后应该会有两个结果,即结果一是围绕0的,结果二是围绕1的。
另外值得注意的是通过random_normal制造出来的随机数是介于-1 - 1的。