（斯坦福机器学习课程笔记）牛顿法算法学习

代码均使用PYTHON3.x

牛顿法算法复杂些，作以下笔记备忘。

下图（来自http://www.myexception.cn/cloud/1987100.html，侵删）

为了找到 $f(x)$取极值的点，即，牛顿法的思路是：
1、牛顿法只是求$f(x)=0$的根！！！！！！！（x可以是向量）
2、初始化一个$x_0$点，在$x=x_0$的条件下做曲线的切线

$$\frac{f(x)-f(x_0)}{x-x_0}=\nabla f(x_0)$$
3、求切线上 $f(x)=0$的点，令f(x)=0，得 $$x=x_0-\frac{f(x_0)}{\nabla f(x_0)}$$
4、迭代方法为 $$x_{n+1}=x_{n}-\frac{f(x_n)}{\nabla f(x_n)}$$

以上是牛顿法的迭代步骤
以下是牛顿法用于优化问题
5、上面说了牛顿法只是求出$f(x)=0$的根。如果要用牛顿法求极值点，**分别对
$\nabla cost(\theta)$的每个分量用牛顿法**，就可以得到代价函数的极值条件了

6、代价函数的迭代步骤是

$$x_{n+1}=x_{n}-\frac{\nabla c(x_n)}{\nabla^2 c(x_n)}$$
(为了不出现歧义，将f(x)改成了c(x))
或者写成 $$x_{n+1}=x_{n}-[\nabla^2 c(x_n)]^{-1}\nabla c(x_n)$$
其中 $\nabla ^2$是hessian矩阵

==================================================
为了加深理解， 这里是另一种理解方法，但以下我的理解是不完整的
将$f(x)$用泰勒公式二阶展开，得

$$f(x)=f(x_0)+\nabla f(x_0)(x-x_0)+{\nabla^2 f(x_0)(x-x_0)\over 2}$$
其中， $f(x)$就是代价函数，方程右边是关于 $x-x_0$的二次方程，在 $$x-x_0=-{\nabla f(x_0)\over \nabla^2 f(x_0)}$$
取极值。由于泰勒公式二阶展开只是一个估算，得出的值只是比初始值更接近的值，所以要经过迭代算法得出更接近的值（缺迭代可以收敛的证明）

======================================================
牛顿法与梯度下降法的比较
梯度下降法的迭代公式是

$$x_{n+1}=x_n-a\nabla f(x_n)$$
其中 $a$是学习率，$f(x)$是代价函数

而牛顿法用于优化问题的迭代公式是

$$x_{n+1}=x_{n}-\frac{\nabla f(x_n)}{\nabla^2 f(x_n)}$$
可以看到，与梯度下降法相比，牛顿法只是将学习率 $a$替换成了$\nabla^2 f(x_n)^{-1}$

这可以理解为，梯度下降法和牛顿法的区别是：牛顿法根据代价函数的二阶导数信息，自动计算出了合适的学习率，因此有更快的迭代速度。而作为交换，牛顿法需要计算庞大的hessian矩阵，矩阵的大小为参数个数 * 参数个数，计算速度慢，消耗资源大。
因此实际中，牛顿法并不常用。