本文介绍了机器学习中的范数概念，包括向量的0-范数、1-范数、2-范数、+∞-范数和-∞-范数，以及矩阵的1-范数、2-范数、F-范数和∞-范数。范数在模型训练中起到防止过拟合、衡量迭代收敛性的作用。通过Numpy库，我们可以计算向量和矩阵的范数，这对于理解和实践深度学习中的损失函数优化至关重要。
主要介绍几个基本概念
-
规范化参数：机器学习的模型拟合训练数据；
-
最小化误差：防止机器学习的模型与训练数据过度拟合；
-
范数：机器学习、深度学习等计算机领域内用的比较多的就是迭代过程中收敛性质的判断，一般迭代前后步骤的差值称为范数，用范数表示其大小。
常用的是二范数，差值越小表示越逼近实际值，可以认为达到要求的精度，收敛。范数本质是距离，存在的意义是为了实现比较
向量的范数
假设x是向量：
x=(x1,x2,…,xn) x=(x_1,x_2,…,x_n) x=(x1,x2,…,xn)
那么p-范数的计算公式如下：
∣∣x∣∣p=∑i=1n∣xi∣pp\vert\vert x \vert\vert_p = \sqrt[p]{\sum_{i = 1}^{n}|x_i|^p}∣∣x∣∣p=pi=1∑n∣xi∣p
x向量的各元素绝对值的p次方之和的p方根。
1) 0-范数:表示向量中非零元素的个数。
∣∣x∣∣0=∑i=1n∣xi∣00\vert\vert x \vert\vert_0 = \sqrt[0]{\sum_{i = 1}^{n} \vert x_i\vert^0}∣∣x∣∣0=0
最低0.47元/天 解锁文章
扫一扫
394
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
