pytorch学习笔记（十三）————过拟合&欠拟合

最新推荐文章于 2024-08-30 12:54:31 发布
原创 最新推荐文章于 2024-08-30 12:54:31 发布 · 354 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了机器学习中常见的过拟合与欠拟合问题，通过线性模型和非线性模型的实例，分析了模型学习能力与真实数据模型之间的差距，以及如何通过观察训练集和测试集的准确度来判断模型是否出现过拟合或欠拟合。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

pytorch学习笔记（十三）————过拟合&欠拟合

目录

理想化情况

1.场景一：线性模型——房价预测
在这里插入图片描述
横坐标是房屋面积，纵坐标是房屋价格。可以看出这两者呈现线性关系
2.场景二：非线性模型——GPA
在这里插入图片描述
老师给学生打分时，往往给大部分学生一般的成绩，成绩差或成绩好的则占少数。因此总体上趋近于高斯模型，呈现非线性关系

真实情况

在这里插入图片描述
从以上两个例子中，我们都已经提前知道了问题中的具体模型，不知道的只有模型的参数，如期望，方差。然而在现实生活中，大部分要解决的问题是不知道具体模型的。如手写数字识别，我们既不知道他的模型，也不知道里面需要包含什么参数。那么如何解决这个问题呢？
在这里插入图片描述
另外我们还要考虑到另一个因素的影响：噪声。并不是所有的数据集都是严格按照模型的，如房价关系的线性模型，房价与面积在呈线性关系的同时往往会有些许误差。我们可以认为误差服从高斯分布，因此为了尽量减少误差的影响，我们需要大量的数据集来训练模型。同时，如果数据集太少，可能被误认为不满足线性关系，而采用其他关系进行预测。

模型学习能力

在这里插入图片描述
我们对利用数据训练模型时，往往会选择不同的模型，可能一次方，二次方。。。到n次方，不同类型，不同次方的模型，次方越高，模型波动越大越复杂。
那么如何衡量不同模型的学习能力？
在这里插入图片描述
可以看出，只有一个参数的常数函数，学习能力最差，输出的是固定值，随着次方增加，参数越来越多，学习能力越来越强。
在这里插入图片描述
最近的深度学习网络层次越来越深，参数也越来越大，也从侧面反映出模型的model capacity越来越强。

欠拟合与过拟合

接下来我们观察两种情况：
情景一：欠拟合
在这里插入图片描述
我们用的模型复杂度小于真实数据模型的复杂度，就好像利用线性模型去预测非线性模型的GPA函数，这种情况会造成模型的表达能力不够，无法表达真实数据模型，这种情况叫做欠拟合。
在这里插入图片描述
再举一个WGAN的例子，早期的WGAN对模型加了许多约束，导致生成的数据表达能力不够强，上面三幅图无法像下面三幅图一样表达许多精美的图片。
那么欠拟合如何体现出来，我们如何发现模型出现欠拟合？
在这里插入图片描述
训练集准确度低
测试集准确度低

情景二：过拟合
在这里插入图片描述
我们训练出的模型为了拟合所有数据变得过分复杂，为了降低loss，模型趋近于每一个点，训练模型复杂度大于真实数据集复杂度，这样会导致在训练集上的效果非常好，但是在测试集上的效果不好，这种情况叫做过拟合。
那么过拟合如何体现出来，我们如何发现模型出现过拟合？
在这里插入图片描述
训练集准确度高
测试集准确度低
过拟合也可以叫做泛化能力低

总结

在这里插入图片描述

PyTorch深度学习实战（10）——过拟合及其解决方法
盼小辉丶的博客
08-08 6470
过拟合是指机器学习模型在训练集上表现很好，但在测试集或未见过的数据上表现较差的现象。过拟合是由于模型在训练过程中过度拟合了训练数据的特点和噪声，导致了对训练样本的过度依赖和泛化能力不足。为了解决过拟合问题，选择适当的方法需要对具体问题和数据进行分析，并在模型构建和调优过程中进行实验和验证。在实践中，通常需要权衡模型的复杂度和泛化能力，以获得更好的结果。
【Pytorch教程】：过拟合 (Overfitting)
nanke_4869的博客
02-02 4328
Pytorch教程目录 Torch and Numpy 变量 (Variable) 激励函数 关系拟合（回归） 区分类型 (分类) 快速搭建法 批训练 加速神经网络训练 Optimizer优化器 卷积神经网络 CNN 卷积神经网络（RNN、LSTM） RNN 循环神经网络 (分类) RNN 循环神经网络 (回归) 自编码 (Autoencoder) DQN 强化学习 生成对抗网络 (GAN) 为什么 Torch 是动态的 GPU 加速运算 什么是过拟合 (Overfitting) 目录Pytorch教程目
Pytorch——过拟合
weixin_37763870的博客
03-14 1591
文章目录1.前言2.过拟合的形象描述3.回归问题的过拟合4.分类问题的过拟合5.如何处理过拟合5.1.增加数据量5.2.正则化5.3.Dropout 1.前言 今天我们会来聊聊机器学习中的过拟合 overfitting 现象, 和解决过拟合的方法. 2.过拟合的形象描述 在细说之前, 我们先用实际生活中的一个例子来比喻一下过拟合现象. 说白了, 就是机器学习模型过于自信. 已经到了自负的阶段了. ...
Pytorch -＞ 过拟合
xs520520wmy的博客
02-24 424
检测过拟合 —— 交叉验证 验证集，用来挑选模型参数（超参数），不参与训练 测试集只用来测试，与验证集操作相同，只是数据集不同 # train=True train_db = datasets.MNIST('../data', train=True, download=True, transform=transforms.Compose([ transforms.ToTensor(),
PyTorch 基础学习（17）- 过拟合
最新发布
花千树的专栏
08-30 1261
在深度学习中，过拟合是一个常见的问题，它会导致模型在训练数据上表现很好，但在新数据上的表现却很差。为了提高模型的泛化能力，防止过拟合是至关重要的。本教程将详细介绍过拟合的概念、常用的防止过拟合的方法，并展示如何在 PyTorch 中实施这些方法。过拟合发生在模型过于复杂时，即模型包含的参数数量远超过训练数据的量。当模型在训练数据上表现得非常好时，它可能只是“记住”了这些数据的噪声或细节，而不是学到了数据的普遍规律。这会导致模型在遇到新数据时无法很好地预测，从而表现不佳。训练集上的损失很低。
PyTorch学习（十三）过拟合
qq_44627776的博客
05-12 433
过拟合：不能表达处理训练数据以外其他的数据。 解决方法1：增加数据量。 解决方法2：运用正规化。 过拟合中，W变化的比较大，所以在计算误差的时候做一些手脚，让学出来的曲线不会过于扭曲。 专门用在神经网络的正规化方法：droptout regularization，随机忽略掉一些神经元和神经的连接。处理过程大概为下面两张图： 丢掉一些神经元之后 对比是否丢掉神经元的结果代码如下： import torch import matplotlib.pyplot as plt # torch.manual_
Pytorch的学习——过拟合
qq_41100991的博客
12-04 769
过拟合 过拟合是当数据量较小时或者输出结果过于依赖某些特定的神经元，训练神经网络训练会发生一种现象。出现这种现象的神经网络预测的结果并不具有普遍意义，其预测结果极不准确。 解决方法 1.增加数据量 2.L1，L2，L3…正规化，即在计算误差值的时候加上要学习的参数值，当参数改变过大时，误差也会变大，通过这种惩罚机制来控制过拟合现象 3.dropout正规化，在训练过程中通过随机屏蔽部分神经网络连接...
莫烦pytorch（15）——过拟合
qq_42738654的博客
02-28 746
１．构造数据集 import matplotlib.pyplot as plt N_SAMPLES = 20 N_HIDDEN = 300 x=torch.unsqueeze(torch.linspace(-1,1,N_SAMPLES),1) y=x+0.3*torch.normal(torch.zeros(N_SAMPLES,1),torch.ones(N_SAMPLES,1)) # tes...
PyTorch入门实战教程笔记（十七）：过拟合1
Superstar02的博客
02-11 894
PyTorch入门实战教程笔记（十七）：过拟合1 过拟合&欠拟合 在模型评估与调整的过程中，往往会遇到“过拟合”或“欠拟合”的情况。如何有效地识别“过拟合”和“欠拟合”现象，并有针对性进行模型调整，是不断改进机器学习模型的关键。特别是在实际项目中，采用多种方法、从多个角度降低“过拟合”和“欠拟合”的风险是应当具备的基础知识。 在模型的评估过程中，过拟合和欠拟合具体是指什么现象呢？ 过拟合(...
pytorch笔记13--过拟合&dropout
beautiful77moon的博客
04-02 494
导致过拟合的原因：训练网络的数据量太少；网络神经元太多； 解决过拟合：增加训练时的数据量；正规化；dropout（每次随机丢弃一定数量的neuron，防止对神经元的过分依赖） 1. 训练过程用两个不同的网络测试，动图如下：（自己截动图很麻烦，所以从网上拿来的） 2. 自己运行的结果图如下：可以看到没加dropout的网络几乎照顾到了每一个训练数据（过拟合），但是对测试数据来说效果就很差...
初始PyTorch（五）：过拟合&欠拟合
sleepinghm的博客
03-24 409
x
《动手学深度学习》PyTorch实现（过拟合、欠拟合及其解决方案）
01-06
笔记整理 代码整理 L2 范数正则化（regularization） %matplotlib inline import torch import torch.nn as nn import numpy as np import sys sys.path.append(/home/kesci/input) import d2lzh1981 as d2l # L2范数正则化 def fit_and_plot_pytorch(wd): # 对权重参数衰减。权重名称一般是以weight结尾 net = nn.Linear(num_inputs, 1) nn.init
pytorch学习（十）——过拟合相关问题及解决方案
11-10
上传时间：2020/11/10 最后测试：2020/11/10 内容：pytroch解决过拟合相关问题及解决方案 其他：pytorch学习练习代码 相关介绍：https://blog.csdn.net/jerry_liufeng/article/details/109608811
过拟合欠拟合及其解决方案 pytorch
02-13
过拟合、欠拟合及其解决方案，内容： 1. 过拟合、欠拟合的概念 2. 权重衰减 3. 丢弃法 总结 欠拟合现象：模型无法达到一个较低的误差 过拟合现象：训练误差较低但是泛化误差依然较高，二者相差较大
pytorch基础（五）- 过拟合、正则化、学习率衰减
sherryhwang的博客
04-28 1053
目录模型的学习能力 model capacity欠拟合 underfitting过拟合 overfittingTrain-Val-Test划分Train-Test划分Train-Val-Test划分交叉验证正则化奥卡姆剃刀原理正则化的作用L1 Regularization / L2 RegularizationL2 RegularizationL1 Regularization动量与学习率衰减动量学习率衰减ReduceLROnPlateau管理optimizer 自动衰减学习率StepLR固定多少epoch
Pytorch 关系拟合
追随梦想，实现梦想
03-16 379
跟着莫凡大神学习code:import torch from torch.autograd import Variable import torch.nn.functional as F import matplotlib.pyplot as plt x= torch.unsqueeze(torch.linspace(-1,1,100),dim=1) # x data (tensor) ,sha...
Pytorch学习笔记【19】：利用dropout解决过拟合问题
qq_36499794的博客
11-21 768
如果对于什么 叫过拟合不是很清楚，可以参考我的另一篇博客： https://blog.csdn.net/qq_36499794/article/details/103178812 注意 看代码注释以及 运行结果，最好自己去运行一遍 本篇代码对比了用 dropout和不用dropout情况下的拟合情况。 1.代码 import torch import matplotlib.py...
Pytorch学习(五）——欠拟合和过拟合
qq_38816432的博客
08-15 1364
欠拟合和过拟合训练误差和泛化误差欠拟合和过拟合 本文主要介绍模型训练过程中出现的欠拟合和过拟合问题，以及进行模型选和处理过拟合的一般方法。 训练误差和泛化误差 通俗来讲，训练误差(training error)指模型在训练数据集上表现出的误差。泛化误差(generalization error)指的是模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。可以通过损失函数来计算训练误差和泛化误差。 在机器学习里，我们通常假设训练数据集和测试数据集里的每一个样本都是从同一个概率分布
pytorch_task3过拟合欠拟合；梯度消失爆炸；循环神经网络
沉梦昂志
02-18 205
Task3过拟合、欠拟合及其解决方案训练误差、泛化误差模型选择验证数据集K折交叉验证过拟合欠拟合概念模型复杂度 过拟合、欠拟合及其解决方案 训练误差、泛化误差 前者指模型在训练数据集上表现出的误差。 后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。 模型选择 验证数据集 从严格意义上讲，测试集只能在所有超参数和模型参数选定后使用一次。不可以使用测试数据选择...
PyTorch深度学习：过拟合与欠拟合解析及对策
"PyTorch学习笔记探讨了过拟合和欠拟合的概念及解决方案，强调了模型选择、验证数据集的使用以及K折交叉验证的重要性。在深度学习中，模型复杂度和训练数据集的大小是影响过拟合和欠拟合的关键因素。过拟合表现为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值