本文介绍了偏导数和梯度的概念，梯度是函数在某点上升最快的方向，而Hessian矩阵则涉及函数的二阶导数，表示函数曲面的曲率信息。通过实例展示了如何计算一个目标函数的梯度和Hessian矩阵，帮助读者深入理解这些数学基础在人工智能中的应用。
偏函数、梯度
设n元函数f(x)f(x)f(x),自变量x=(x1,x2,⋯ ,xn)Tx=(x_1,x_2,\cdots,x_n)^Tx=(x1,x2,⋯,xn)T的各分量xix_ixi的偏导数∂f(x)∂xi(i=1,2,⋯ ,n)\frac{\partial f(x)}{\partial x_i}(i=1,2,\cdots,n)∂xi∂f(x)(i=1,2,⋯,n)都存在，则称函数f(x)f(x)f(x)在xxx处一阶可导，并成为向量：
∇f(x1,x2,⋯ ,xn)=gradf(x1,x2,⋯ ,xn)=(∂f∂x1∂f∂x2,⋯ ,∂f∂xnT) \nabla f(x_1,x_2,\cdots,x_n)=grad f(x_1,x_2,\cdots,x_n)=(\frac{\partial f}{\partial x_1}\frac{\partial f}{\partial x_2},\cdots,\frac{\partial f}{\partial x_n}^T) ∇f(x1,x2,⋯,xn)=gradf(x1,x2,⋯,xn)=(∂x1∂f∂x2∂f,⋯,∂xn∂fT)
为函数f(x)f(x)f(x)在xxx处的一阶导数或者梯度。其中符号“∇\nabla∇”称为梯度算子，它作用于一个多元函数，得到一个向量。例如：
∇(x2+2xy+y2)=(2x+2y,2x+2y)T\nabla(x^2+2xy+y^2)=(2x+2y,2x+2y)^T∇(x2+2xy+y
最低0.47元/天 解锁文章
扫一扫
7648
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
