为什么说欠拟合和过拟合会导致模型不准确
学习机器学习理论的时候很多教材都会提到欠拟合和过拟合的问题。
上图分别代表欠拟合和过拟合
欠拟合是模型过于简单或者特征太少而导致模型不能很好描述数据和结论的关系;过拟合是模型过于复杂或者特征过多而到导致模型过度关心数据里的噪声。
感性上的认识是这样的,但是欠拟合和过拟合是如何影响模型预测效果的,如何定量的表示他们的影响,我们可以通过定量计算的方法看看:
- 用yyy代表实际数据,y^\hat{y}y^代表模型预测数据
- 假设y=f(x)+σ,σy = f(x)+\sigma,\sigmay=f(x)+σ,σ是噪声
- 模型和实际的误差我们用E[(y^−y)]2E[(\hat{y}-y)]^2E[(y^−y)]2代表(为了计算方便去除了对数据数量的平均)
我们根据定义,可以得到:
bias=E(y^−y)bias = E(\hat{y} - y)bias=E(y^−