线性代数之矩阵求导（2）标量函数求导基本法则与公式

最新推荐文章于 2022-06-29 18:35:33 发布

RuiH.AI

最新推荐文章于 2022-06-29 18:35:33 发布

阅读量1.7k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：概率论与机器学习文章标签：线性代数矩阵机器学习

本文链接：https://blog.csdn.net/qq_41035283/article/details/121212875

线性代数之矩阵求导（2）基本法则与公式

前言
基本约定
标量对向量求导
- 基本法则
- 公式
标量对矩阵求导
- 基本法则
- 公式
后记

前言

上篇矩阵求导（1）解决了求导时的布局问题，也是矩阵求导最基础的求导方法。现在进入矩阵求导的核心：基本求导法则与基本公式。

基本约定

本篇只涉及标量对向量、矩阵的求导，默认向量是列向量。

标量对向量求导

基本法则

常数求导：
$\frac {\partial c_0}{\partial x}=0^{n\times 1}$
常数求导很简单，在此不证明。

线性变换：
$\frac {\partial (c_1f(x)+c_2g(x))}{\partial x}=c_1\frac {\partial f}{\partial x}+c_2\frac {\partial g}{\partial x}$
证明：
$\frac {\partial (c_1f(x)+c_2g(x))}{\partial x}= \begin{bmatrix} \frac {\partial (c_1f(x)+c_2g(x))}{\partial x_1}\\ \frac {\partial (c_1f(x)+c_2g(x))}{\partial x_2}\\ \dots \\ \frac {\partial (c_1f(x)+c_2g(x))}{\partial x_n} \end{bmatrix} \\ \quad \\ =\begin{bmatrix} \frac {c_1\partial (f(x))}{\partial x_1}\\ \frac {c_1\partial (f(x))}{\partial x_2}\\ \dots \\ \frac {c_1\partial (f(x))}{\partial x_n} \end{bmatrix} + \begin{bmatrix} \frac {c_2\partial (g(x))}{\partial x_1}\\ \frac {c_2\partial (g(x))}{\partial x_2}\\ \dots \\ \frac {c_2\partial (g(x))}{\partial x_n} \end{bmatrix} \\ \quad \\ = c_1\frac {\partial f}{\partial x}+c_2\frac {\partial g}{\partial x}$
加减法就不细说了，和普通函数求导是一样的，也很好证。

乘积：
$\frac {\partial (f(x)g(x))}{\partial x}= \frac {\partial f(x)}{\partial x}g(x)+f(x)\frac {\partial g(x)}{\partial x}$
证明：
$\frac {\partial f(x)g(x)}{\partial x} = \begin{bmatrix} \frac {\partial fg}{\partial x_1} \\ \frac {\partial fg}{\partial x_2} \\ \dots \\ \frac {\partial fg}{\partial x_n} \\ \end{bmatrix}\\ \quad \\ = \begin{bmatrix} \frac {\partial f}{\partial x_1}g+ f\frac {\partial g}{\partial x_1}\\ \frac {\partial f}{\partial x_2}g+ f\frac {\partial g}{\partial x_2}\\ \dots \\ \frac {\partial f}{\partial x_n}g+ f\frac {\partial g}{\partial x_n}\\ \end{bmatrix}\\ \quad \\ = \begin{bmatrix} \frac {\partial f}{\partial x_1} \\ \frac {\partial f}{\partial x_2} \\ \dots \\ \frac {\partial f}{\partial x_n} \\ \end{bmatrix}g + f\begin{bmatrix} \frac {\partial g}{\partial x_1} \\ \frac {\partial g}{\partial x_2} \\ \dots \\ \frac {\partial g}{\partial x_n} \\ \end{bmatrix}\\ \quad \\ = \frac {\partial f(x)}{\partial x}g(x)+f(x)\frac {\partial g(x)}{\partial x}$