梯度下降法--线性回归模型

①代价函数：
$$\frac{\partial }{\partial {\mathbf{\theta }}_{\mathbf{j}}}\mathbf{J}({\mathbf{\theta }}_0,{\mathbf{\theta }}_1)\text{\hspace{1em}(1)}$$

${\theta }_j$ 中 $j=1,0$

将代价函数展开：
$$\frac{\partial }{\partial {\theta }_j}[\frac{1}{2\ast m}\sum _{i=0}^m(h_{\theta }(x^i)-y^i{)}^2]\text{\hspace{1em}(2)}$$

接着展开：

$$\frac{\partial }{\partial {\theta }_j}[\frac{1}{2\ast m}\sum _{i=0}^m({\theta }_0+x\cdot {\theta }_1-y^i{)}^2]\text{\hspace{1em}(3)}$$
之所以这样展开，是根据之前我们求出来②假设函数：
$$h_{\theta }(x^i)={\theta }_0+x\cdot {\theta }_1\text{\hspace{1em}(4)}$$

最后我们要将式子 $(3)$ 中的偏导数 求解出来得到下面两个式子:
$$\frac{\partial }{\partial {\theta }_0}J({\theta }_0,{\theta }_1)=\frac{1}{m}\sum _{i=0}^m({\theta }_0+x\cdot {\theta }_1-y^i)=\frac{1}{m}\sum _{i=0}^m(h_{\theta }(x^i)-y^i)\text{\hspace{1em}(5)}$$

$$\frac{\partial }{\partial {\theta }_1}J({\theta }_0,{\theta }_1)=\frac{1}{m}\sum _{i=0}^m(h_{\theta }(x^i)-y^i)\cdot x^i\text{\hspace{1em}(6)}$$

代价函数和假设函数是回归模型问题中两个主要的式子

③梯度下降法：
我们就是利用梯度下降法找函数最小值。

梯度下降法我们共同认为 ${\theta }_0和{\theta }_1$同时变化的 是梯度下降法。

我用一个循环来表示${\theta }_0和{\theta }_1$同时更新
$$for(j=0;j<=1;j++)$$

$${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1)\text{\hspace{1em}(7)}$$

解释一下$:=$这个符号就是赋值好和C语言里面的等号意义一样。

最低点的导数等于零：
$${\theta }_0:={\theta }_0$$

$${\theta }_1:={\theta }_1$$
可以看出${\theta }_0和{\theta }_1$的值均不再变化。这时候就是找到了函数最小值。

把上面的式子$(7)$展开：

$${\theta }_0:={\theta }_0-\alpha \frac{1}{m}\sum _{i=0}^m({\theta }_0+x\cdot {\theta }_1-y^i)\text{\hspace{1em}(8)}$$

$${\theta }_1:={\theta }_1-\alpha \frac{1}{m}\sum _{i=0}^m({\theta }_0+x\cdot {\theta }_1-y^i)\cdot x^i\text{\hspace{1em}(9)}$$

上面的式子$(8)(9)$就是我们得到的终结版梯度下降法。

以上就是观看吴恩达机器学习第一节的公式笔记。