DL：overfitting

解决overfitting的方法    Dropout， regularization， batch normalizatin。   但是要注意dropout只在训练的时候用，让一部分神经元随机失活。    Batch normalization是为了让输出都是单位高斯激活，方法是在连接和激活函数之间加入Batch Norm层，计算每个特征的均值和方差进行规则化。 ...

 为了得到一致假设而使假设变得过度复杂称为过拟合(overfitting)，过拟合表现在训练好的模型在训练集上效果很好，但是在测试集上效果差。也就是说模型的泛化能力弱。在很多问题中，我们费心费力收集到的数据集并不能穷尽所有的状态，而且一般训练得到的模型被用来预测未知数据的结果，模型虽然在训练集上效果很好，但是在实际应用中效果差，就说明这个模型训练的并不是很成功，还需要改进。就譬如下方的图像中，左边...

todo 2021-09-03 17:41:53 参考： https://www.youtube.com/watch?v=iuJgyiS7BKM&list=PLZbbT5o_s2xq7LwI2y8_QtvuXZedL6tQU&index=35

​ DL：《Deep Learning’S Diminishing Returns—深度学习的收益递减—训练深度学习系统的计算和能源成本的深思熟虑》翻译与解读 目录 《DEEP LEARNING’S DIMINISHING RETURNS》翻译与解读 《DEEP LEARNING’S DIMINISHING RETURNS》翻译与解读 文章地址：Deep Learning’s Diminishing Returns - IEEE Spectrum 发布时间：2021年9月24日 D

提出了node Bernoulli dropout，用在前馈神经网络(MLP, CNN)，限制boltzmann机模型上，在监督学习任务上测试。 训练时候对每个min batch 以一定的概率暂时的移除节点（及其输入输出连接），相当于训练$2^n$个共享权重的网络。测试的时候用weight scaling后的全网络。 Gauss dropout也有差不多更好的效果。

Revisiting ResNets: Improved Training and Scaling Strategies https://arxiv.org/abs/2103.07579v1 Background 影响一个神经网络模型的认知能力的主要因素，可以被粗略的分为以下几个部分： 结构（architecture）：关于网络结构的改进工作，一直以来最受人关注，著名的工作包括：AlexNet，VGG，ResNet，Inception，ResNext等。近两年，一大批基于模型结构自动搜索（NAS）的

文章目录一、基本概念二、应对欠拟合和过拟合的解决方法2.1 欠拟合的解决办法2.2 过拟合的解决办法2.2.1 权重衰减 / L2L_{2}L2​范数正则化2.2.2 dropout三、梯度消失和梯度爆炸四、随机初始化模型参数PyTorch的默认随机初始化Xavier随机初始化(这里需要检查)考虑环境因素协变量偏移标签偏移概念偏移Q&A 一、基本概念 训练误差（training erro...

Improve performance with extra capacity or early stopping. Now, the training loss will go down either when the model learns signal or when it learns noise. But the validation loss will go down only when the model learns signal. (Whatever noise the model le

内存共享与NumPy共享内存视图操作（如view()/切片）共享内存其他方法均创建独立副本梯度处理.clone()唯一保留梯度计算图copy_()会破坏目标Tensor的计算图创建新计算图使用场景需要梯度回传：使用.clone()高效数据覆盖：使用.copy_()完全独立拷贝：使用与NumPy交互：使用numpy()

本文介绍了正则化技术缓解模型过拟合的方法，重点讲解了权重衰减（L2正则化）的实现。通过高维线性回归示例展示了权重衰减的效果：未正则化时训练误差低但测试误差高（过拟合），加入L2惩罚后训练误差增大但测试误差降低。文章详细演示了从零开始实现权重衰减的过程，包括添加L2范数惩罚项到损失函数，以及使用PyTorch简洁实现的方式。实验结果表明，权重衰减能有效控制模型复杂度，在训练误差和测试误差之间取得更好平衡。

PyTorch分布式训练核心技术解析 本文深入剖析PyTorch分布式训练的核心架构与实现原理。主要内容包括：1）分布式训练架构演进，从参数服务器到现代混合分片技术；2）AllReduce算法数学原理及工程实现，包括RingAllReduce的Scatter-Reduce和AllGather两阶段通信；3）ZeRO优化器的三级参数分片策略；4）生产级分布式训练模板，涵盖进程组初始化、DDP模型并行、分布式采样等关键环节；5）典型陷阱与优化方案，如死锁预防、内存管理、通信计算比平衡等；6）前沿技术包括MoE专

还在为PyTorch训练循环中复杂的设备管理、分布式配置、日志记录等“脏活累活”而烦恼吗？本文将为你深度解密AI训练的“脚手架”大师——PyTorch Lightning 和 Hugging Face Accelerate。我们将直击手动训练的痛点，详细介绍两大框架如何通过模块化、自动化和高度抽象，将你的“头秃”代码变得简洁、高效且易于扩展。文章将深入对比它们的特点和适用场景，并提供可本地复现的PyTorch Lightning和Hugging Face Accelerate最小化代码示例，手把手教你搭建一

博主最近真要累鼠了…anyway上号更新一点，预计下周就能把该系列更完了= =

本文介绍了在Windows系统上安装PyTorch的详细流程和注意事项。系统要求Windows7及以上版本，Python3.9-3.12，支持CUDA 12.8+（50系显卡需12.9版本）。文章提供了pip缓存配置建议，详细说明了查看CUDA版本、安装PyTorch对应版本（通过官方命令）、验证安装的方法，并附带了完整的GPU性能测试代码，包括矩阵运算、混合精度、深度学习模拟、显存带宽和Transformer注意力机制测试。最后还提供了显存压力测试方法，帮助用户全面评估GPU性能。

摘要：本文探讨了机器学习中的过拟合与欠拟合问题。通过分析训练误差和泛化误差的关系，阐述了模型复杂性与数据集大小对泛化性能的影响。实验部分使用多项式回归模型，对比了不同阶数下的拟合效果：三阶多项式（正常拟合）、线性模型（欠拟合）和高阶多项式（过拟合）。结果表明，模型复杂度过低会导致欠拟合，而过高则容易过拟合训练数据噪声。文章还介绍了验证集、交叉验证等模型选择方法，强调测试集应仅用于最终评估。研究指出，深度学习中训练误差通常优于验证误差，但最终应更关注模型的泛化能力。

自动微分模块torch.autograd负责自动计算张量操作的梯度，具有自动求导功能。自动微分模块是构成神经网络训练的必要模块，可以实现网络权重参数的更新，使得反向传播算法的实现变得简单而高效（梯度运算必须是浮点型（float））