线性代数（MIT）

线性代数

矩阵消元

矩阵行变化, 相当于左乘矩阵.

如下矩阵乘法为对第一行进行行变化$row1:=row1+2\ast row2-row3$.
$$\left[\begin{array}{ccc}1& 2& -1\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}-.& row1& -\\ -.& row2& -\\ -.& row3& -\end{array}\right]$$

矩阵乘法的几种理解

$$A_{n\times m}\cdot B_{m\times p}=C_{n\times p}$$

从单个元素的角度

$$C_{i,j}=\sum _{k=1}^m{A}_{i,k}\cdot B_{k,j}$$

列角度

$$\left[\begin{array}{ccc}|& |& \cdots \\ col1& col2& \cdots \\ |& |& \cdots \end{array}\right]\cdot \left[\begin{array}{cc}|& \cdots \\ col1& \cdots \\ |& \cdots \end{array}\right]=\left[\begin{array}{cc}|& \cdots \\ col1& \cdots \\ |& \cdots \end{array}\right]$$

$col1ofC$是$A$的每一列的线性组合, 每一列的权重为$col1ofB$.

行角度

$$\left[\begin{array}{ccc}-.& row1& -\\ \cdots & \cdots & \cdots \\ ⋮& ⋮& ⋮\end{array}\right]\cdot \left[\begin{array}{ccc}-.& row1& -\\ -.& row2& -\\ ⋮& ⋮& ⋮\end{array}\right]=\left[\begin{array}{ccc}-.& row1& -\\ \cdots & \cdots & \cdots \\ ⋮& ⋮& ⋮\end{array}\right]$$
$row1ofC$是$B$的每一行的线性组合, 每一行的权重为$row1ofA$.

列乘行的角度

$$\begin{gathered} A=\left[\begin{array}{ccc}col1& col2& \cdots \end{array}\right],B=\left[\begin{array}{c}row1\\ row2\\ ⋮\end{array}\right] \\ A\cdot B=\sum _{i=1}^{m}co{l}_i\cdot ro{w}_i \end{gathered}$$

例子
$$\begin{gathered} col1=\left[\begin{array}{c}2\\ 3\\ 4\end{array}\right],row1=\left[\begin{array}{cc}1& 6\end{array}\right] \\ col1\cdot row1=\left[\begin{array}{c}2\\ 3\\ 4\end{array}\right]\cdot \left[\begin{array}{cc}1& 6\end{array}\right]=\left[\begin{array}{cc}2& 12\\ 3& 18\\ 4& 24\end{array}\right] \end{gathered}$$

分块角度

以上三种角度都可以用分块角度很直观地看出.

矩阵的逆

可逆

若存在$x\ne 0,A\cdot x=0$, 则$A$是奇异矩阵, 不可逆.

证明:

假设存在$B\cdot A=I$, 则有
$$\begin{gathered} A\cdot x=0 \\ B\cdot Ax=0 \\ I\cdot x=0 \\ x=0 \end{gathered}$$
矛盾. 故$B不存在$.

逆的计算

Gauss-Jordan消元法对$\left[\begin{array}{cc}A& I\end{array}\right]$进行消元, 最后100左边消为$I$, 右边即为$A^{-1}$. 由于矩阵行变化相当于左乘矩阵, 故
$$\begin{gathered} \because E\cdot A=I \\ \therefore E\cdot I=A^{-1} \\ E\cdot \left[\begin{array}{cc}A& I\end{array}\right]=\left[\begin{array}{cc}I& A^{-1}\end{array}\right] \end{gathered}$$

LU分解

把A进行行变化, 得到上三角矩阵U.(不使用行交换).

$A_{3\times 3}$例子
$$\begin{gathered} E_{2,1}\cdot E_{3,1}\cdot E_{3,2}\cdot A=U \\ A=E_{3,2}^{-1}\cdot E_{3,1}^{-1}\cdot E_{2,1}^{-1}\cdot U=LU \end{gathered}$$

转置、置换、向量空间

置换矩阵

置换矩阵(permutations)是指可以让矩阵进行 行交换(row exchanges)的矩阵。$n\times n$的置换矩阵就是通过单位矩阵行交换的得到，个数为$n!$。他们的逆矩阵都在这个群里。进一步来说，逆矩阵相当于把做的交换逆回去，故有
$$P^{-1}=P^T$$

所以，当需要行交换的时候, LU分解应该写成
$$PA=LU$$

转置

对于任意矩阵$R$，$R^{T}R$是对称矩阵恒成立。即$(R^{T}R{)}^T=R^{T}R$.

向量空间

满足数乘和加法封闭性。最小的向量空间只有零向量。

列空间和零空间

两个子空间$S$和$T$的交集也是一个子空间。因为$v,w\in S\cap T$，所以$v+w\in S,v+w\in T$，即$v+w\in S\cap T$

列向量空间

$$A=\left[\begin{array}{ccc}1& 1& 2\\ 2& 1& 3\\ 3& 1& 4\\ 4& 1& 5\end{array}\right]$$

A的列向量子空间是4维空间中的子空间，不能覆盖整个4维空间。用方程组来说，就是$Ax=b$并不是对于所有的$b$都有解，$x$是各个列向量线性组合的权重。有解的$b$是各列的线性组合，即$b$ 属于$A$的列空间$C(A)$。

$$A\cdot x=\left[\begin{array}{ccc}1& 1& 2\\ 2& 1& 3\\ 3& 1& 4\\ 4& 1& 5\end{array}\right]\cdot \left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}{b}_1\\ b_2\\ b_3\\ b_4\end{array}\right]$$

零空间

$Ax=0$的所有解$x\in R^4$组成零空间$N(A)$。至少包含零向量。

用上面的例子，零空间的向量形如以下形式，是一条直线。
$$\left[\begin{array}{c}c\\ c\\ -c\end{array}\right]$$
证明为什么$Ax=0$得到的所有向量一定构成一个向量空间

设$x,x^{\ast }为两个解$，则有
$$Ax=0,A{x}^{\ast }=0$$
则
$$\begin{gathered} A(x+x^{\ast })=Ax+A{x}^{\ast }=0+0=0 \\ A(kx)=kAx=0 \end{gathered}$$
故向量加法和数乘都在向量空间内，故符合向量空间的定义。

$Ax=0$的主元和特解

$Ax=0$ 的解不会因对$A$矩阵进行初等行变化而改变。可以从两个角度得到这个结论。

1. 进行行变化时，只是对A矩阵每一列内部的行之间进行变化，每列的变化相同。列与列之间的关系不变。
2. 进行初等行变化相当于左乘一个矩阵$E$，而$EAx=0$仍然成立。

矩阵的秩就是矩阵进行行变化之后的主元的个数。
$$\begin{gathered} A=\left[\begin{array}{cccc}1& 2& 2& 2\\ 2& 4& 6& 8\\ 3& 6& 8& 10\end{array}\right] \\ => \\ U=\left[\begin{array}{cccc}1& 2& 2& 2\\ 0& 0& 2& 4\\ 0& 0& 0& 0\end{array}\right] \\ => \\ R=\left[\begin{array}{cccc}1& 2& 0& -2\\ 0& 0& 1& 2\\ 0& 0& 0& 0\end{array}\right] \end{gathered}$$
$A$的秩$r=2$。$U$的第一列和第三列为主列（pivot columns），第二列和第四列为自由列（free columns）。$Ax=0$的自由元的个数为$n-r=4-2=2$。零空间就是让自由元逐一等于1得到的向量之间的线性组合。
$$x=c\cdot \left[\begin{array}{c}-2\\ 1\\ 0\\ 0\end{array}\right]+d\cdot \left[\begin{array}{c}2\\ 0\\ -2\\ 1\end{array}\right]$$
把$R$矩阵中的主列凑在一起，把自由列组合在一起，就可以得到rref形式的$R$矩阵。
$$I=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right],F=\left[\begin{array}{cc}2& -2\\ 0& 2\end{array}\right]R=\left[\begin{array}{cc}\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]& \left[\begin{array}{cc}2& -2\\ 0& 2\end{array}\right]\\ \begin{array}{cc}0& 0\end{array}& \begin{array}{cc}0& 0\end{array}\end{array}\right]$$

则可以通过解$RN=0$来得到列向量为$Ax=0$的$n-r$个特解，即得到了零基。
$$N=\left[\begin{array}{c}-F\\ I\end{array}\right]$$