Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶资源-CSDN下载

循环神经网络

79 浏览量 2021-01-07 02:55:38 上传评论收藏 695KB PDF 举报

资源推荐

资源详情

资源评论

Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆：过拟合、欠拟合及其解决方案；梯度消失、梯度爆

炸；循环神经网络进阶炸；循环神经网络进阶

Task03: 过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶

1、过拟合、欠拟合及其解决方案、过拟合、欠拟合及其解决方案

1.1 训练误差和泛化误差训练误差和泛化误差

1.2 模型选择模型选择

1.3 过拟合和欠拟合过拟合和欠拟合

1.4 权重衰减权重衰减

1.5 丢弃法丢弃法

2、梯度消失、梯度爆炸、梯度消失、梯度爆炸

2.1 定义定义

2.2 随机初始化模型参数随机初始化模型参数

2.3 考虑环境因素考虑环境因素

3、循环神经网络进阶、循环神经网络进阶

3.1 门控循环单位（门控循环单位（GRU））

3.2 长短期记忆（长短期记忆（LSTM））

3.3 深度循环神经网络深度循环神经网络

3.4 双向循环神经网络双向循环神经网络

1、过拟合、欠拟合及其解决方案、过拟合、欠拟合及其解决方案

1.1 训练误差和泛化误差训练误差和泛化误差

训练误差（训练误差（training error）：）：模型在训练数据集上表现出的误差

泛化误差（泛化误差（generalization error）：）：模型在任意一个测试数据样本上表现出的误差的期望，常常通过测试数据集上的误差来

近似。

计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损

失函数。

机器学习模型应关注降低泛化误差。

1.2 模型选择模型选择

验证数据集验证数据集

从严格意义上讲，测试集只能在所有超参数和模型参数选定后使用一次。不可以使用测试数据选择模型，如调参。由于无法从

训练误差估计泛化误差，因此也不应只依赖训练数据选择模型。鉴于此，我们可以预留一部分在训练数据集和测试数据集以外

的数据来进行模型选择。这部分数据被称为验证数据集，简称验证集（validation set）。例如，我们可以从给定的训练集中随

机选取一小部分作为验证集，而将剩余部分作为真正的训练集。

K折交叉验证折交叉验证

由于验证数据集不参与模型训练，当训练数据不够用时，预留大量的验证数据显得太奢侈。一种改善的方法是K折交叉验证

（K-fold cross-validation）。在K折交叉验证中，我们把原始训练数据集分割成K个不重合的子数据集，然后我们做K次模型训

练和验证。每一次，我们使用一个子数据集验证模型，并使用其他K-1个子数据集来训练模型。在这K次训练和验证中，每次

用来验证模型的子数据集都不同。最后，我们对这K次训练误差和验证误差分别求平均。

1.3 过拟合和欠拟合过拟合和欠拟合

模型训练中经常出现的两类典型问题：

一类是模型无法得到较低的训练误差，我们将这一现象称作

欠拟合（欠拟合（

underfitting

））

；

另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为

过拟合（过拟合（

overfitting

））

。在实践中，我们要尽可

能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数

据集大小。

模型复杂度模型复杂度

为了解释模型复杂度，我们以多项式函数拟合为例。给定一个由标量数据特征x和对应的标量标签y组成的训练数据集，多项式

函数拟合的目标是找一个K阶多项式函数：

来近似 y。在上式中，wk是模型的权重参数，b是偏差参数。与线性回归相同，多项式函数拟合也使用平方损失函数。特别

地，一阶多项式函数拟合又叫线性函数拟合。

给定训练数据集，模型复杂度和误差之间的关系：

训练数据集的大小训练数据集的大小

影响欠拟合和过拟合的另一个重要因素是训练数据集的大小。一般来说，如果训练数据集中样本数过少，特别是比模型参数数

量（按元素计）更少时，过拟合更容易发生。此外，泛化误差不会随训练数据集里样本数量增加而增大。因此，在计算资源允

许的范围之内，我们通常希望训练数据集大一些，特别是在模型复杂度较高时，例如层数较多的深度学习模型。

1.4 权重衰减权重衰减

权重衰减等价于 L2范数正则化（regularization）。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，

是应对是应对

过拟合的常用手段。过拟合的常用手段。

L2 范数正则化（范数正则化（regularization）：）：

L2范数正则化在模型原损失函数基础上添加L2范数惩罚项，从而得到训练所需要最小化的函数。L2范数惩罚项指的是模型权

重参数每个元素的平方和与一个正的常数的乘积。以线性回归中的线性回归损失函数为例

其中w1,w2是权重参数，b是偏差参数，样本i的输入为x1(i),x2(i)，标签为y(i)，样本数为n。将权重参数用向量w=[w1,w2]表

示，带有L2范数惩罚项的新损失函数为：

其中超参数λ>0。当权重参数均为0时，惩罚项最小。当λ较大时，惩罚项在损失函数中的比重较大，这通常会使学到的权重参

数的元素较接近0。当λλ设为0时，惩罚项完全不起作用。上式中L2范数平方|w|2展开后得到w12+w22。有了L2范数惩罚项

后，在小批量随机梯度下降中，我们将线性回归一节中权重w1和w2的迭代方式更改为：

可见，L2范数正则化令权重w1和w2先自乘小于1的数，再减去不含惩罚项的梯度。因此，L2范数正则化又叫权重衰减。权重

剩余14页未读，继续阅读

评论收藏

内容反馈

weixin_38575536

粉丝: 3

Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶

动手学 task03 过拟合、欠拟合及其解决方案+梯度消失、梯度爆炸+循环神经网络进阶

过拟合欠拟合及其解决方案、梯度消失梯度爆炸、循环神经网络进阶

过拟合、欠拟合、梯度消失与梯度爆炸-Task3

过拟合，欠拟合，梯度消失，梯度爆炸

pytorch_task3过拟合欠拟合；梯度消失爆炸；循环神经网络

过拟合、欠拟合及其解决方案等打卡

pytorch实现task3——过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶

Dive into deep learning task 03- 过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶

《动手学深度学习》task3——过拟合、欠拟合及解决方案，梯度消失、梯度爆炸，循环神经网络进阶笔记

Task3: 过拟合、欠拟合;梯度消失，梯度爆炸；循环神经网络进阶

Task03、Task04、Task05

深度学习（三）————过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶

伯禹AI – task03 过拟合、欠拟合及其解决方案 -梯度消失与爆炸、循环神经网络进阶

深度学习d3：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶

Deep Learning_Task3_过拟合、欠拟合/梯度消失、梯度爆炸/循环神经网络进阶

task03:循环神经网络进阶

动手学深度学习03：过拟合与欠拟合区别和解决方案

梯度消失与梯度爆炸

过拟合与欠拟合

【Pytorch】动手学深度学习（二）

【DL学习笔记】打卡02：Task03-05

动手学深度学习实现DAY-2

《动手学深度学习》第二次打卡-学习小队

动手学深度学习（Pytorch版）task3-5打卡

电热水壶坏了别扔，它很容易修好的！

Cumulative Distribution Function在相机调试的原理

最新资源