无约束优化——梯度下降法

  有$d$元函数$f(\vec{x})$，其中$\vec{x}$为$d$维向量，试图找到$\vec{x}$的某个取值${\vec{x}}^{\ast }$，使$f({\vec{x}}^{\ast })$达到$f(\vec{x})$的最小值（或最大值），这就是我们常说的“最优化”或“优化”。我们知道，机器学习中用训练集训练模型，其实大多时候就是建立目标函数，找到使目标函数达到最小值（或最大值）的模型参数的过程。这不就是在解决优化问题吗！所以，学好优化，刻不容缓！

  如果函数$f(\vec{x})$没有附带约束条件，那这属于无约束优化；如果函数$f(\vec{x})$附带的都是等式约束条件，那这属于等式约束优化；如果函数$f(\vec{x})$附带有不等式约束条件，那这属于不等式约束优化。面对不同的优化问题，需要不同的方法来解决。

无约束优化

用数学的语言表达出来，就是
$$\underset{\vec{x}}{\min }f(\vec{x})，$$

因为求最大值和最小值可以相互转化，所以都以求最小值为例。对于一元函数$f(x)$来说，大家都知道通过$f^{\prime }(x)=0$来找到$x^{\ast }$使$f(x^{\ast })$达到最小值。对于$d$元函数$f(\vec{x})$来说，方法类似，通过方程组
$$\frac{\partial f}{\partial x_1}=0,\frac{\partial f}{\partial x_2}=0,\dots ,\frac{\partial f}{\partial x_d}$$