第四课-A=LU

1 概述

上一课讲解了乘法和逆矩阵，这一课首先完善之前讲的逆矩阵，然后通过消元矩阵引入$A$的$LU$分解。即:将矩阵$A$分解为矩阵$L$与上三角矩阵$U$。

2 逆矩阵的性质补充

因为后面涉及到矩阵的转置问题，在这里先提前介绍下转置矩阵。转置矩阵就是把原矩阵中的各行转换成对应的各列。例如:
$$A=\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\\ 7& 8& 9\end{array}\right]A^T(T代表对A矩阵的转置)=\left[\begin{array}{ccc}1& 4& 7\\ 2& 5& 8\\ 3& 6& 9\end{array}\right]$$

1. 由定义而来的最基本公式 $A{A}^{-1}=I=A^{-1}A$
2. 两矩阵$AB$相乘，且它们的逆已知，求$AB$的逆？
   由逆的定义知:$AB\ast ?=I$，易知$(AB)(B^{-1}{A}^{-1})=I=(B^{-1}{A}^{-1})(AB)$ 所以$AB$的逆为$B^{-1}{A}^{-1}$。这里的乘积顺序发生了变化，好比穿了袜子再穿鞋的相反动作那就是得要先脱鞋再拖袜子。
3. 转置矩阵和逆矩阵的关系
   矩阵乘积的逆和矩阵乘积的转置都调换了矩阵的顺序:$AB$的逆为$B^{-1}{A}^{-1}$，$AB$的转置为$B^T{A}^T$
   已知:$A{A}^{-1}=I{I}^T=I$，则$(A{A}^{-1}{)}^T=I=(A^{-1}{)}^T{A}^T\Rightarrow (A^{-1}{)}^T=(A^T{)}^{-1}$
   也就是矩阵$A$的转置的逆等于$A$的逆的转置
   从矩阵乘法的定义也能推导出这个结论，假设$A=(a_{ij}{)}_{m\times n},B=(b_{ij}{)}_{n\times s}$。则$((AB{)}^T{)}_{ij}=(AB{)}_{ji}={\sum }_{k=1}^n{a}_{jk}{b}_{ki}=(B^T{A}^T{)}_{ij}$

3 A=LU

通过之前的课程，我们知道，通过不断左乘初等矩阵可使得矩阵$A$变换为$U$。假设所有左乘的初等矩阵的总乘积为$E$，那么有$EA=U$。举个例子：

$$\underset{E_{21}}{\underbrace{\left[\begin{array}{cc}1& 0\\ -4& 1\end{array}\right]}}\underset{A}{\underbrace{\left[\begin{array}{cc}2& 1\\ 8& 7\end{array}\right]}}=\underset{U}{\underbrace{\left[\begin{array}{cc}2& 1\\ 0& 3\end{array}\right]}}$$

$$\underset{A}{\underbrace{\left[\begin{array}{cc}2& 1\\ 8& 7\end{array}\right]}}=\underset{L}{\underbrace{\left[\begin{array}{cc}1& 0\\ 4& 1\end{array}\right]}}\underset{U}{\underbrace{\left[\begin{array}{cc}2& 1\\ 0& 3\end{array}\right]}}$$

$$E_{21}A=U\to E_{21}^{-1}(E_{21}A)=E_{21}^{-1}U\to (E_{21}^{-1}{E}_{21})A=E_{21}^{-1}U\to IA=LU$$

• 为什么我们选择$A=LU$而不是$EA=U$
  $E_1\ast E_2\cdots E_n=E，EA=U$ 在计算过程中，$E_1\ast E_2$这些操作会互相影响。举个例子，现在有$E_{32}{E}_{21}A=U$
  $$\underset{E_{32}}{\underbrace{\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& -5& 1\end{array}\right]}}\underset{E_{21}}{\underbrace{\left[\begin{array}{ccc}1& 0& 0\\ -2& 1& 0\\ 0& 0& 1\end{array}\right]}}=\underset{E}{\underbrace{\left[\begin{array}{ccc}1& 0& 0\\ -2& 1& 0\\ 10& -5& 1\end{array}\right]}}$$
  注意观察$E$中的$10$，在$E_{21}$中行二减去2倍的行一，在$E_{32}$中又有行三减去5倍的行二。因此$E$在行三中加上10倍行一。可以发现$E_{32},E_{21}$会相互影响。
  但是，使用$A=E_{21}^{-1}{E}_{32}^{-1}U$，可以发现反向操作可以避免这些影响。
  $$\underset{E_{21}^{-1}}{\underbrace{\left[\begin{array}{ccc}1& 0& 0\\ 2& 1& 0\\ 0& 0& 1\end{array}\right]}}\underset{E_{32}^{-1}}{\underbrace{\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 5& 1\end{array}\right]}}=\underset{L}{\underbrace{\left[\begin{array}{ccc}1& 0& 0\\ 2& 1& 0\\ 0& 5& 1\end{array}\right]}}$$
  $L$中没有出现10，并且矩阵中各个元素都是$E_{21}^{-1}和E_{32}^{-1}$中对应位置的元素。在使用$A=LU$分解矩阵时，我们可以逆向思考，从$U$入手，反过来考虑通过怎样的行变换把$U$变成$A$，对单位矩阵进行对应变换得到$L$矩阵。
• 考虑一个$100\times 100$的大矩阵，将一行乘一定倍数后加到另一行上消元计为一次运算。需要运算多少次之后，才能将其化为上三角矩阵$U$呢？我们首先从列的角度考虑，经过消元后，将第一列化为${\left[\begin{array}{cccc}1& 0& \cdots & 0\end{array}\right]}^T$，一共运算了100次，而第一行共有100个元素。所以将第一列和第一行消元结束，我们需要运算$100^2$次。之后我们还需要消元剩下的$99\times 99$矩阵。类推，可知总共运算量为${\sum }_{k=1}^n{K}^2$。回想到微积分中的知识，我们知道连续区域上函数的黎曼和，我们可以通过积分来计算区域面积值的和。我们这里可以把离散点近似看做黎曼和，采用积分来估算。即${\sum }_{k=1}^n{K}^2={\int }_1^n{x}^{2}dx$。所以对于一个$n\times n$矩阵$A$，我们需要进行大约$\frac{1}{3}{n}^3$次操作将其变换为$U$，而对于右侧向量$b$的变换和回代求解我们需要大约各$\frac{1}{2}{n}^2$共$n^2$次操作。

4 置换矩阵（P）

在消元过程中，当矩阵主元位置上面不是1时，我们需要通过行交换的方式将主元位置置换回1。置换矩阵就是这些用于行交换的矩阵。对于一个$3\times 3$的矩阵，我们能找到6个置换矩阵。
$$\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& 0& 1\\ 0& 1& 0\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ 1& 0& 0\end{array}\right]\left[\begin{array}{ccc}0& 0& 1\\ 0& 1& 0\\ 1& 0& 0\end{array}\right]\left[\begin{array}{ccc}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right]$$

这6个置换矩阵组成了一个很有意思的矩阵群。这六个矩阵不管怎么相乘或者取逆，其结果仍然在这个群中。这样的情况是很自然的，因为对矩阵的各行进行多次交换存在最后矩阵回到最初的可能。
通过观察列出的6个置换矩阵，我们能发现一条很奇妙的关于置换矩阵的性质：置换矩阵的逆等于其转置，也即$P^{-1}=P^T$

• 推广到$n$阶矩阵，$n$阶矩阵有$n!$个置换矩阵。