L1与L2范数的区别

转载自https://blog.csdn.net/rocling/article/details/90290576 https://zhuanlan.zhihu.com/p/28023308 把答案放在前面 L0范数是指向量中非0的元素的个数。(L0范数很难优化求解) L1范数是指向量中各个元素绝对值之和 L2范数是指向量各元素的平方和然后求平方根 L1范数可以进行特征选择，即让特征的系数变为0. L2范数可以防止过拟合，提升模型的泛化能力，有助于处理 condition number不好下的矩阵(数据变化

先附上大佬的文章，后期整理。 L1范数与L2范数的区别

L0/L1/L2范数的联系与区别 标签（空格分隔）： 机器学习 最近快被各大公司的笔试题淹没了，其中有一道题是从贝叶斯先验，优化等各个方面比较L0、L1、L2范数的联系与区别。 L0范数 L0范数表示向量中非零元素的个数： \(||x||_{0} = \#(i)\ with\ \ x_{i} \neq 0\) 也就是如果我们使用L0范数，即希望w的大部分元素都是0. （w是稀疏的）所以可以用于M...

一、过拟合与正则化 　　过拟合指的就是在机器学习模型训练过程中把数据学习的太彻底，以至于把噪声数据的特征也学习到了，这样会导致在测试的时候不能够很好地识别数据，即不能正确的分类，模型测试的时候不能够很好地识别数据，即不能正确的分类，模型泛化能力较差,也就是高方差(variance)，低偏差（bias）。例如： 　　正则化就是用来解决过拟合问题的，防止我们的模型过分拟合我们的参数。监督机器学...

在正则化中，L1范数和L2范数经常被用作正则化项的一部分，以控制模型的复杂度。L1正则化倾向于使权重稀疏（即某些权重为零），因此可以用于特征选择。L2正则化通过惩罚大的权重，有助于防止过拟合。在二维空间中，L2范数等于向量元素平方和的平方根，也可以表示为从原点到向量所在点的欧几里得距离。在二维空间中，L1范数等于向量元素的绝对值之和，也可以表示为从原点到向量所在点的曼哈顿距离。L1范数和L2范数是向量的范数（norm）的两种不同计算方式。

总结来说，L1范数倾向于产生稀疏解，而L2范数倾向于产生稠密解。L1范数在特征选择和稀疏化方面有其优势，而L2范数在防止过拟合和提升模型泛化能力方面有其优势。是两种常用的向量范数，

L1范数是对应向量的绝对值之和，具有稀疏性。可以用于特征选择。 L2范数是对应向量的平方项的累加和，可以防止模型的过拟合，提升模型的泛化能力。...

定义：L1范数是向量元素的绝对值之和，也称为曼哈顿距离或稀疏范数。- 定义：L2范数是向量元素平方的总和的平方根，也称为欧几里德范数。- 选择性：L1范数具有产生稀疏解的能力，倾向于将某些特征的系数设为零，而L2范数倾向于使所有特征的系数都尽可能小但非零。L范数和L2范数是在正则化和特征选择中经常使用的正则化项，它们在度量向量的方式、特点和应用方面有所区别。- L1范数产生的解通常具有较少的非零系数，可以用于特征选择和过滤掉不相关的特征。- 平滑性：L1范数的解是一个稀疏的解，L2范数的解更加平滑。

今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。 监督机器学习问题无非就是“minimize your error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的...