深度学习过拟合与正则化的理解

什么是过拟合？

        首先，要明确，我们可以用泰勒展开的思想，用多项式对函数进行拟合，所以理论上讲什么函数都可以通过多项式的方式拟合出来。

        低次多项式是高次多项式的子集，也就是说高次多项式所能拟合的函数种类更多，范围更广，更容易把正确的那个拟合函数包含进去，但随之而来的是待定系数增多，随着范围更广，也包含了更多错误的拟合函数，需要通过更多的条件舍去错误的，也就是说需要更多的训练数据去进行筛选训练，如果训练数据太少就容易导致筛选不充分，从而拟合函数误差较大。

        所以，越复杂的拟合函数需要的拟合数据越多，如果拟合函数复杂，训练数据很少就会反噬，就好像贪多嚼不烂，导致拟合不准确，产生过拟合。

什么是正则化？

看看上面回归模型的拟合程度

最左边的图，为欠拟合，泛化能力差，训练样本集准确率低，测试样本集准确率低。

最右边的图中，拟合程度非常高，甚至每一个点都能通过表达，这个难道就是我们所渴望得到的  吗？并不是！我们的数据集中无法避免的存在着许多噪声，而在理想情况下，我们希望噪声对我们的模型训练的影响为0。而如果模型将训练集中每一个点都精准描述出来，显然包含了许许多多噪声点，在后续的测试集中得到的准确率也不高。另一方面，太过复杂的  直接导致函数形状并不平滑，而会像图中那样拐来拐去，并不能起到预测的作用，“回归”模型也丧失了其预测能力（也就是模型泛化能力），也就是过拟合，泛化能力差，训练样本集准确率高，测试样本集准确率低。

中间的图中，展现的是最适合的拟合程度， 不过于复杂或过于简单，并且能够直观的预测函数的走向。虽然它在测试集的中准确列不及图三高，但在测试集中我们得到的准确率是最高的，同时泛化能力也是最强的，合适的拟合程度：泛化能力强，训练样本集准确率高，测试样本集准确率高

同样，在分类模型中也存在过拟合与欠拟合的情况

正则化是用来防止模型过拟合而采取的手段。我们对损失函数函数增加一个限制条件，限制其较高次的参数大小不能过大，通过这种规则去规范他们再接下来的循环迭代中，不要自我膨胀。

​​​​​​​正是那些高次项导致了过拟合的产生（若无限小就接近于0，就相当于低次了），所以如果我们能让这些高次项的系数接近于0的话，我们就能很好的拟合了，正则化存在的意义，能帮助我们在训练模型的过程中，防止模型过拟合。

怎么对模型做正则化？