机器学习中正则化项L1和L2的直观理解

转自：此处 对于机器学习中常碰到的正则化L1和L2一直比较模糊，偶然看到了一篇比较好的博客分享给大家。对原文我精简了下要点，同时文章底下的评论内容也可以看看解答自己的疑惑。 L1正则化 和 L2正则化，或者说 L1范数 和 L2范数，常见机器学习的损失函数末尾，也就是惩罚项，说白了就是加上一个条件限制，限制某些参数的权重取值。 对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用...

今天还是机器学习的基础知识内容，也是最基础的哈。首先说一下什么是正则化，其实它就是一个减少方差的策略。那么什么是方差呢？在这里也引入一个和方差相辅相成的概念--偏差。我们通常所说的过拟合现象，也就是指的高方差，就是模型在训练集上训练的超级好，几乎全部都能拟合。 但是这种情况如果换一个数据集往往就会非常差， 正则化的思想就是在我们的目标函数中价格正则项， 即：在这里正则项有两种，分别是L1和L2，先来看一下两者的表达式： 如果加上这种正则项，就是希望我们的代价函数小，同时也希望我们这里的小，这样就说明每个样本

1. 什么是L1 L2？ 正则化项，范式，惩罚项是不同学科范畴的学者的不同叫法，具体如下： 在机器学习称作正则化； 统计学领域称作惩罚项； 数学界会称作范数。 L1范数：L1范数就是曼哈顿距离，向量中每个元素绝对值的和 L2范数：L2就是欧式距离，向量元素绝对值的平方和再开平方 2. 在机器学习中L1 L2起到的作用是？ 有如下比较普遍的解释： L1正则化：可以产生稀疏权值...

0 正则化的作用 正则化的主要作用是防止过拟合，对模型添加正则化项可以限制模型的复杂度，使得模型在复杂度和性能达到平衡。 常用的正则化方法有L1正则化和L2正则化。L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。 L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归。但是使用正则化来防止过拟合的原理是什么？L1和L...

Candle 是 Hugging Face 推出的 Rust 机器学习框架，主打轻量、高性能与易部署。它既能在浏览器里跑 Whisper/T5/SegAnything，也能在服务器上跑 LLaMA、Stable Diffusion 和多卡 CUDA；既支持 safetensors/npz/ggml 等权重格式，也提供 FlashAttention v2、量化与 wasm。本文面向工程落地视角，讲清楚：为什么选 Candle、如何快速起步、典型应用场景、性能与部署要点、常见坑与对比选择。

决策树的进化之路：从ID3到CART的算法优化 决策树算法经历了从ID3到C4.5再到CART的演进过程，逐步解决了前代算法的局限性。ID3采用信息增益划分节点，但容易偏好多值特征；C4.5引入增益率进行平衡；CART则改用计算更简单的基尼指数。针对连续值特征，决策树通过离散化处理实现有效划分。此外，预剪枝和后剪枝技术能有效防止过拟合。实际应用中，合理设置criterion、max_depth等参数对模型性能至关重要。这些算法改进体现了机器学习追求简单而准确的核心思想。

简单说一下肘部原则：就是尝试多个聚类中心的个数，进行实验，得到对应的代价函数（loss值），然后按照个数的由小到大的增加画到一张图上，看看loss值有一个由大的波动到小的波动的拐点，那么我们选择这个拐点对应的聚类中心个数。就是如果说你有一个流动的数据流，就可以使用在线学习算法，还能够匹配到最新的趋势，比如用户的爱好在变化，你推荐给他的按照他的爱好变化而变化。PCA做的就是尝试找到一个面或线或别的在高维上可以将数据分隔开的东西，把数据投影到这个面或线上，以便最小化平方投影误差。确认没有误差运行时应该关闭。

ID3决策树算法实现西瓜数据集的分类器

1、K-means基本概念：是一种无监督学习方法，不依赖人工标注的类别，而是根据数据本身的特征，将相似的数据点自动分为若干类。给定一个参数，表示希望划分成的簇（cluster）数量；找到每个簇的“中心点”（质心，centroid），让同一簇内的点尽可能相似，不同簇之间的点尽可能不同。

摘要 方差和标准差衡量数据围绕平均值的离散程度，其中标准差还原了原始单位。均方误差（MSE）和均方根误差（RMSE）评估预测值与真实值的偏差，RMSE解决了MSE单位不一致的问题。平均绝对误差（MAE）使用绝对值计算误差，对异常值更稳健。MSE和RMSE对大误差敏感，而MAE虽鲁棒但不可微。这些指标在统计分析和机器学习中各有优劣，需根据具体场景选择使用。

本文介绍了正则化技术缓解模型过拟合的方法，重点讲解了权重衰减（L2正则化）的实现。通过高维线性回归示例展示了权重衰减的效果：未正则化时训练误差低但测试误差高（过拟合），加入L2惩罚后训练误差增大但测试误差降低。文章详细演示了从零开始实现权重衰减的过程，包括添加L2范数惩罚项到损失函数，以及使用PyTorch简洁实现的方式。实验结果表明，权重衰减能有效控制模型复杂度，在训练误差和测试误差之间取得更好平衡。

基于深度学习的技术在各种识别和分类任务中已取得了最先进的性能。本文指出，外包训练会引入新的安全风险：攻击者可以创建一个恶意训练的网络（即带有后门的神经网络，称为 BadNet），该网络在用户的训练和验证样本上表现优异，但在攻击者选择的特定输入上却会表现异常。接着，我们在更现实的场景中展示了后门的应用：构建了一个美国街道标志分类器，当在停车标志上贴上特定的贴纸时，它会将其识别为限速标志。我们进一步展示，即使该网络后来被重新训练用于其他任务，这一后门仍然可能存在，并在触发后门时平均导致准确率下降 25%。

聚类是一种无监督学习方法，目标是将相似的数据点划分为同一组，不相似的数据点划分到不同组。难点在于：如何评估聚类效果、如何选择合适的聚类数目K、如何定义“相似性”。集成学习通过结合多个弱学习器构建一个强学习器，提升模型的泛化能力和鲁棒性。算法类型代表算法特点适用场景聚类K-Means无监督，简单高效数据分群、图像分割集成学习-Bagging随机森林并行、抗过拟合、可解释性强分类、回归、特征选择集成学习-BoostingAdaBoost串行、调整权重、强分类器二分类、异常检测。

先理解数据：缺失值是随机还是有规律？特征的物理含义是什么？结合业务场景：填充策略、标准化方法需匹配业务目标（如预测房价和预测疾病的预处理重点不同）。工具选对事半功倍pandas适合数据清洗，的模块适合标准化建模流程。

本文基于温度、CO浓度和烟雾三个特征，采用三种机器学习方法（SVM、神经网络和随机森林）实现火灾检测的三分类任务（无火、阴燃火、明火）。通过采集大量样本数据，分别构建了三种分类模型，并详细介绍了模型训练和预测过程。实验结果表明，这些方法能有效区分不同火灾状态，其中SVM采用RBF核函数，神经网络使用单隐藏层结构，随机森林则通过多决策树集成实现分类。每种方法均提供模型保存和加载功能，便于实际部署应用。该研究为基于多参数传感的火灾智能检测提供了可行方案。

本文提出了一种基于多生成器生成对抗网络(MGGAN)和卷积块注意力模块(CBAM)的航空轴承剩余使用寿命(RUL)预测新方法。针对航空轴承数据稀缺和特征微弱的问题，该方法首先采用多生成器WGAN-GP框架增强数据质量，通过权重共享和特征融合策略提高生成效率；然后利用CNN提取退化特征，并通过CBAM-LSTM网络实现精准预测。在FEMTO数据集上的实验表明，该方法显著提高了预测精度和稳定性，为航空设备预测性维护提供了有效解决方案。