机器学习经典问题笔记

机器学习部分

为什么线性分类任务组合后可以解决非线性分类任务？

可以理解为第一层感知器做的是一个空间变换，经过了第一层的空间变换后，第二层感知器看到的就是线性的分类任务。

那么是不是层数越深越多越好呢

并不是，多层神经网络在只是简单堆叠卷积层和池化层出现梯度消失和梯度爆炸的几率大大增加，除此以外还会存在退化的问题，就是越深反而效果不好，解决退化问题的办法就是GoogLeNet的残差思想。

什么是梯度消失和梯度爆炸？

梯度消失（爆炸）：反向传播过程中误差每一次乘以一个<(>)1的数，那么随着深度的加深，误差会越来越小（大），从而导致无法更新神经网络前面的权重或参数，就是梯度消失（爆炸）。

如何解决梯度消失和局部最小值问题呢？

谈论梯度消失，就要首先考虑误差反向传播，最后一层输出层在看到误差后，本想将误差返回给之前层来更新，但是对于Sigmod激活函数除了落在正负2之间是比较理想的状态，其他情况当落在饱和区里时，会出现很小的梯度，则误差乘以多次很小的梯度后，误差也变得很小，则不会更新前面的参数，导致误差无法传播。解决方法：提前设置一个较好的参数

除此之外，多层神经网络容易陷入局部极小值，难以训练，且随着层数增多，局部极小值成倍增加。解决方法：找一个较好的起始点

如何实现解决方法：逐层预训练

多层神经网络可以看成是一个复合的非线性多元函数。，每一层的输出可以当成第二层的输入。

编程中的具体