线性代数学习笔记11-3：总复习（习题）

本文链接：https://blog.csdn.net/Insomnia_X/article/details/126744607

Eg1 矩阵乘法和齐次方程

对于 $A=[v1v2v3]A=[\mathbf{v}_1 \mathbf{v}_2 \mathbf{v}_3]$ ，有方程 $Ax=v1−v2+v3\mathbf A \mathbf{x}=\mathbf{v}_1-\mathbf{v}_2+\mathbf{v}_3$

求解方程 $Ax=v1−v2+v3\mathbf A \mathbf{x}=\mathbf{v}_1-\mathbf{v}_2+\mathbf{v}_3$
根据矩阵乘法，直接可得解为 $x=[1−11]x=\left[\begin{array}{c}1 \\-1 \\1\end{array}\right]$
若 $v1−v2+v3=0\mathbf{v}_1-\mathbf{v}_2+\mathbf{v}_3=0$ ，方程 $Ax=0\mathbf A \mathbf{x}=\mathbf 0$ 的解是否唯一？
解是否唯一，看零空间的维数即可：根据 $v1−v2+v3=0\mathbf{v}_1-\mathbf{v}_2+\mathbf{v}_3=0$ ，列线性相关，秩 $r < n$ ，零空间维数 $n - r > 0$ ，因此零空间有非零向量， $Ax=0\mathbf A \mathbf{x}=\mathbf 0$ 有无穷个非零解；
理解二：由于列线性相关， $A\mathbf A$ 对应降维的变换，从而有一个空间被压缩到原点， $Ax=0\mathbf A \mathbf{x}=\mathbf 0$ 有无穷个非零解；

Eg2.1 方程解的结构

对于 $m×nm\times n$ 的秩为 $r$ 的矩阵，已知①方程 $Ax=[100]\boldsymbol{A x} =\left[\begin{array}{l}1 \\0 \\0\end{array}\right]$ 无解；② $Ax=[010]\boldsymbol{A x}=\left[\begin{array}{l}0 \\1 \\0\end{array}\right]$ 有唯一解；

求 $m, n, r$ 的范围
Ⅰ. 首先，矩阵乘法要求 $m = 3$
Ⅱ. 由①，方程无解，必然意味着消元后出现“0=1”，也即行向量相关（必要不充分），则秩 $r < m$
理解二：方程消元后，若每行有一个主元（行满秩 $r = m$ /行向量线性无关），则方程必有解；
而方程无解必然意味着消元后主元数<行数/行不满秩/行向量相关，即 $r < m$
Ⅲ. 由②，非齐次方程有唯一解，则齐次方程 $Ax=0\boldsymbol{A x}=0$ 有唯一零解（通解=特解+零空间），故零空间仅有零向量，零空间维度 $n - r = 0$ ， $r = n$ ；
理解二： $A\boldsymbol A$ 不是降维的变换，则变换后基向量个数不变， $r = n$
最终， $r = n < m = 3$
写出一个符合条件的 $A\boldsymbol A$
$A\boldsymbol A$ 秩为1的例子是 $A=[010]\boldsymbol{A} =\left[\begin{array}{l}0 \\1 \\0\end{array}\right]$ ； $A\boldsymbol A$ 秩为2的例子是 $A=[001001]\boldsymbol{A}=\left[\begin{array}{ll} 0 & 0 \\ 1 & 0 \\ 0 & 1 \end{array}\right]$ （保证方程①消元后第一行出现“0=1”，而方程②有解即可）
求证：对于任意的 $c\mathbf c$ ，方程至少有 $ATy=c\mathbf A^T\mathbf y=\mathbf c$ 一个解
由于方程消元后，若每行有一个主元（行满秩 $r = m$ /行向量线性无关），则方程必有解；
又因为已知 $r = n$ ，故 $AT\mathbf A^T$ 行满秩，满足上述条件
另外关注解的个数： $AT\mathbf A^T$ 零空间（即 $A\mathbf A$ 左零空间）维数 $m - r > 0$ ，方程 $ATy=c\mathbf A^T\mathbf y=\mathbf c$ 有无穷个解

Eg2.2 $ATA\mathbf A^T \mathbf A$

对于上一题的 $A\boldsymbol A$ ， $r = n < m = 3$ ，判断下列命题是否成立
① $ATA\mathbf A^T \mathbf A$ 可逆
② $AAT\mathbf A \mathbf A^T$ 正定
③ $det(ATA)=det(AAT)det(\mathbf A^T \mathbf A)=det(\mathbf A \mathbf A^T)$

①真命题。根据以前的知识，列满秩 $r = n$ 则 $ATA\mathbf A^T \mathbf A$ 必为正定矩阵，其行列式>0必可逆
②假命题。两矩阵相乘，秩不会增大，因此 $m$ 阶方阵 $AAT\mathbf A \mathbf A^T$ 的秩最多为 $r < m$ ，不是列满秩，因此不可能为正定矩阵
③假命题。由上， $ATA\mathbf A^T \mathbf A$ 可逆（行列式>0）而 $AAT\mathbf A \mathbf A^T$ 不可逆，故 $det(ATA)≠det(AAT)det(\mathbf A^T \mathbf A)\neq det(\mathbf A \mathbf A^T)$

注意，对于方阵 $A\mathbf A$ 和方阵 $B\mathbf B$ ，必然有 $det(AB)=det(A)det(B)=det(BA)det(\mathbf A \mathbf B)=det(\mathbf A)det(\mathbf B)=det(\mathbf B\mathbf A)$ ；对于非方阵则不成立

Eg3 Markov矩阵、差分方程与稳态

已知Markov矩阵 $A=[0.20.40.30.40.20.30.40.40.4]\boldsymbol{A} =\left[\begin{array}{ccc} 0.2 & 0.4 & 0.3 \\ 0.4 & 0.2 & 0.3 \\ 0.4 & 0.4 & 0.4 \end{array}\right]$

求特征值
①通过观察，矩阵的列向量相关（列一+列二=2倍列三），则矩阵不可逆，必有特征值 $λ1=0\lambda_1=0$
②马尔可夫矩阵必然有特征值 $λ2=1\lambda_2=1$
③根据迹=对角元之和=特征值之和，最后一个特征值 $λ3=−0.2\lambda_3=-0.2$
求差分方程 $uk=Aku0，u0=[0100]\mathbf{u}_{k}=\boldsymbol{A}^{k}\mathbf{u}_0，\mathbf{u}_0=\left[\begin{array}{c}0 \\10 \\0\end{array}\right]$ 的稳态（即 $k→∞k\rightarrow\infty$ 时的 $uk\mathbf{u}_{k}$ ）
首先分析稳态中有哪些项：先将 $u0\mathbf{u}_0$ 表示为特征向量的线性组合 $u0=c1x1+c2x2+c3x3\mathbf{u}_0=c_1\mathbf{x}_1+c_2\mathbf{x}_2+c_3\mathbf{x}_3$ ，那么 $uk=c1λ1kx1+c2λ2kx2+c3λ3kx3\mathbf{u}_{k} =c_{1} \lambda_{1}^{k} \mathbf{x}_{1}+c_{2} \lambda_{2}^{k} \mathbf{x}_{2}+c_{3} \lambda_{3}^{k} \mathbf{x}_{3}$ ，由于 $λ1=0,λ2=1,λ3=−0.2\lambda_1=0,\lambda_2=1,\lambda_3=-0.2$ ，最终的稳态只会剩下第二项，因此关注 $λ2=1\lambda_2=1$ 对应的特征向量即可；
求得特征向量 $x2=[334]\mathbf{x} 2 =\left[\begin{array}{l}3 \\3 \\4\end{array}\right]$ ，故稳态 $uk=[334]\mathbf{u k} =\left[\begin{array}{l}3 \\3 \\4\end{array}\right]$
ps. 由于是Markov矩阵，问题可视为人口迁移问题，一开始有10个人，最终总共还是10个人，但分布不同

Eg4 最小二乘法

对于方程 $Ax=b\mathbf A\mathbf x=\mathbf b$ 即 $[101112][C^D^]=[341]\left[\begin{array}{ll}1 & 0 \\1 & 1 \\1 & 2\end{array}\right] \left[\begin{array}{l}\hat{C} \\\hat{D}\end{array}\right]= \left[\begin{array}{l}3 \\4 \\1\end{array}\right]$ ，
已知通过最小二乘法得出的“最优解”为 $[C^D^]=[11/3−1]\left[\begin{array}{c}\hat{C} \\\hat{D}\end{array}\right] =\left[\begin{array}{c}11 / 3 \\-1\end{array}\right]$

求向量 $b=[341]\mathbf b=\left[\begin{array}{l}3 \\4 \\1\end{array}\right]$ 在 $A\mathbf A$ 列空间上的投影 $p\mathbf p$
根据最小二乘法的几何意义，其就是将 $b\mathbf b$ 向 $A\mathbf A$ 列空间投影，然后对投影 $p\mathbf p$ 求解“最优解”；
因此，带入 $[C^D^]=[11/3−1]\left[\begin{array}{c}\hat{C} \\\hat{D}\end{array}\right] =\left[\begin{array}{c}11 / 3 \\-1\end{array}\right]$ 得到投影 $p=[101112][C^D^]=[11/38/35/3]\mathbf p=\left[\begin{array}{ll}1 & 0 \\1 & 1 \\1 & 2\end{array}\right] \left[\begin{array}{l}\hat{C} \\\hat{D}\end{array}\right]=\left[\begin{array}{c}11 / 3 \\8 / 3 \\5 / 3\end{array}\right]$
将问题视为对三个数据点的直线拟合，画出对应的图像
希望直线 $y = k x + b$ 同时过三个点，方程写为：
$[101112][bk]=[341]\begin{bmatrix}1 & 0 \\1 & 1 \\1 & 2\end{bmatrix}\begin{bmatrix}b\\k\end{bmatrix}=\begin{bmatrix}3\\4\\1\end{bmatrix}$
对应的三个点为 $(0, 3), (1, 4), (2, 1)$ ，而最“最优解” $[11/3−1]\left[\begin{array}{c}11 / 3 \\-1\end{array}\right]$ 给出终拟合得到的直线 $y = - x + 11 / 3$
另求一个非零向量 $b\mathbf b$ ，使得 $Ax=b\mathbf A\mathbf x=\mathbf b$ 最小二乘法的“最优解”为 $0\mathbf 0$ ，即 $[C^D^]=[00]\left[\begin{array}{l}\hat{C} \\\hat{D}\end{array}\right] =\left[\begin{array}{l}0 \\0\end{array}\right]$
根据最小二乘法的几何意义，先将 $b\mathbf b$ 向 $A\mathbf A$ 列空间投影得到 $p\mathbf p$ ，那么“最优解”就是 $Ax^=p\mathbf A\mathbf {\hat x}=\mathbf p$ 的解
仅当 $b\mathbf b$ 垂直/正交于 $A\mathbf A$ 列空间时，投影为 $p=0\mathbf p=\mathbf 0$ ，进而“最优解”为 $0\mathbf 0$ ，从而得到 $b=[1−21]\mathbf{b}=\left[\begin{array}{c}1 \\-2 \\1\end{array}\right]$

Eg5 矩阵特性

求符合下列要求的2x2矩阵
①能将向量投影到 $a=[4−3]\mathbf{a}=\left[\begin{array}{c}4 \\-3\end{array}\right]$ 的投影矩阵
②具有特征值 $0, 3$ 和特征向量 $[12]，[21]{\left[\begin{array}{l}1 \\2\end{array}\right] ， \left[\begin{array}{l}2 \\1\end{array}\right]}$ 的矩阵
③不能被分解为 $A=BTB\boldsymbol A=\boldsymbol{B}^{T} \boldsymbol{B}$ 的矩阵
④特征向量正交的矩阵（除了对称阵）

①投影矩阵 $P=A(ATA)−1AT=aaTaTa=……\mathbf P=\mathbf A(\mathbf A^T\mathbf A )^{-1}\mathbf A^T=\frac{\mathbf{a a}^{T}}{\mathbf{a}^{T} \mathbf{a}}=\ldots \ldots$
②根据相似对角化，可得到矩阵 $A=S−1ΛS=[1221][0003][1221]−1=……\boldsymbol{A}=\boldsymbol{S}^{-1} \boldsymbol{\Lambda} \boldsymbol{S}=\left[\begin{array}{ll} 1 & 2 \\ 2 & 1 \end{array}\right]\left[\begin{array}{ll}0 & 0 \\0 & 3\end{array}\right] \left[\begin{array}{ll}1 & 2 \\2 & 1\end{array}\right]^{-1} =\ldots \ldots$
③ $BTB\boldsymbol{B}^{T} \boldsymbol{B}$ 至少为半正定矩阵，那么只要给出任意一个不对称的矩阵，即可满足“不能被分解为 $A=BTB\boldsymbol A=\boldsymbol{B}^{T} \boldsymbol{B}$ ”
④特征向量正交，几何上对应“旋转”的线性变换
例如正交矩阵 $A=[cos−sinsincos]\boldsymbol{A}=\left[\begin{array}{ll} cos & -sin \\ sin & cos \end{array}\right]$ (特征值为纯虚数，对应旋转，特征向量正交)
又如反对称矩阵 $A=[01−10]\boldsymbol{A}=\left[\begin{array}{ll} 0 & 1 \\ -1 & 0 \end{array}\right]$

Eg6 求矩阵的SVD分解

Eg 6.1

对于可逆矩阵 $A=[44−33]\boldsymbol{A}=\left[\begin{array}{cc}4 & 4 \\-3 & 3\end{array}\right]$ 求SVD分解（可逆矩阵 $r = n$ ，则 $ATA\boldsymbol{A}^{T} \boldsymbol{A}$ 和 $AAT\boldsymbol{A}\boldsymbol{A}^{T}$ 为正定矩阵，特征值全为正， $A\boldsymbol{A}$ 对应的奇异值全为正）

首先求正交矩阵 $V\boldsymbol{V}$ 和正交矩阵 $U\boldsymbol{U}$

求正交矩阵 $V\boldsymbol{V}$
计算 $ATA=[257725]\boldsymbol{A}^{T} \boldsymbol{A}=\left[\begin{array}{cc} 25 & 7 \\ 7 & 25 \end{array}\right]$ ，特征值 $λ1=σ12=32,λ2=σ22=18\lambda_1=\sigma_{1}^{2}=32, \lambda_2=\sigma_{2}^{2}=18$ ，特征向量 $v1=[1/21/2],v2=[1/2−1/2]\mathbf{v} 1=\left[\begin{array}{l}1 / \sqrt{2} \\1 / \sqrt{2}\end{array}\right], \mathbf{v} 2=\left[\begin{array}{r}1 / \sqrt{2} \\-1 / \sqrt{2}\end{array}\right]$ （注意，由于U中需要标准正交基，需要将一般的特征向量 $[11],[1−1]{\left[\begin{array}{l}1 \\1\end{array}\right] , \left[\begin{array}{l}1 \\-1\end{array}\right]}$ 标准化）
最终， $V=[1/21/21/2−1/2]\boldsymbol{V}=\left[\begin{array}{cc}1 / \sqrt{2} & 1 / \sqrt{2} \\1 / \sqrt{2} & -1 / \sqrt{2}\end{array}\right]$ , $Σ=[320018]\boldsymbol{\Sigma}=\left[\begin{array}{cc}\sqrt{32} & 0 \\0 & \sqrt{18}\end{array}\right]$
求正交矩阵 $U\boldsymbol{U}$
计算 $AAT=[320018]\boldsymbol{A} \boldsymbol{A}^{T}=\left[\begin{array}{cc}32 & 0 \\0 & 18\end{array}\right]$ ，特征值 $λ1=σ12=32,λ2=σ22=18\lambda_1=\sigma_{1}^{2}=32, \lambda_2=\sigma_{2}^{2}=18$ ，特征向量 $[10],[01]{\left[\begin{array}{l}1 \\0\end{array}\right] , \left[\begin{array}{l}0 \\1\end{array}\right]}$
$AV=[3200−18]=UΣ\boldsymbol{A}\boldsymbol{V} =\left[\begin{array}{cc}\sqrt{32} & 0 \\0 & -\sqrt{18}\end{array}\right]=\boldsymbol{U} \boldsymbol{\Sigma}$ 来帮助确定特征向量 $ui\mathbf{u}_i$ 所取的符号
最后， $U=[100−1]\boldsymbol{U}=\left[\begin{array}{cc}1 & 0 \\0& -1\end{array}\right]$ （注意，不是 $[1001]\left[\begin{array}{cc}1 & 0 \\0& 1\end{array}\right]$ ）

SVD分解结果： $A=UΣVT，[44−33]=[100−1][320018][1/21/21/2−1/2]\boldsymbol{A}=\boldsymbol{U} \boldsymbol{\Sigma} \boldsymbol{V}^{T}，\quad\left[\begin{array}{cc}4 & 4 \\-3 & 3\end{array}\right]=\left[\begin{array}{cc}1 & 0 \\0& -1\end{array}\right]\left[\begin{array}{cc}\sqrt{32} & 0 \\0 & \sqrt{18}\end{array}\right]\left[\begin{array}{cc}1 / \sqrt{2} & 1 / \sqrt{2} \\1 / \sqrt{2} & -1 / \sqrt{2}\end{array}\right]$

Eg 6.2

对于奇异矩阵 $A=[4386]\boldsymbol{A}=\left[\begin{array}{cc}4 & 3 \\8 & 6\end{array}\right]$ 求SVD分解（奇异矩阵 $r < n$ ，则 $ATA\boldsymbol{A}^{T} \boldsymbol{A}$ 和 $AAT\boldsymbol{A}\boldsymbol{A}^{T}$ 为半正定矩阵）
与上面不同的是，这里 $A\boldsymbol{A}$ 为奇异矩阵，秩为1，导致了 $A\boldsymbol{A}$ 的行空间并不能张成整个 $R2\boldsymbol{R}^2$ 空间，因此这里的SVD即 $AV=UΣ\boldsymbol{A}\boldsymbol{V} =\boldsymbol{U} \boldsymbol{\Sigma}$ 的 $V\boldsymbol{V}$ 中，还多了“零空间”的部分（如上面所述，这部分对应 $Σ\boldsymbol{\Sigma}$ 中的零元素）

由于是秩1矩阵，情况比较简单，我们不再用上面的通用方法求正交矩阵 $V\boldsymbol{V}$ 和正交矩阵 $U\boldsymbol{U}$ ，这里直接从矩阵的行空间和列空间来求解，同时有助于加深理解：
在这里插入图片描述

这里行空间为一条直线，零空间则与之正交（垂直）；列空间与左零空间同理
根据前面所讲，我们要在整个 $R2\boldsymbol{R}^2$ 空间（行空间+零空间）中找一组标准正交基，其被 $A\boldsymbol{A}$ 线性变换后，得到 $R2\boldsymbol{R}^2$ 空间中的另一组标准正交基（对应到列空间+左零空间）
如图，很容易得到行空间+零空间的标准正交基为 $v1=[4/53/5],v2=[3/5−4/5]\mathbf{v} 1=\left[\begin{array}{l}4/5 \\3/5\end{array}\right], \mathbf{v} 2=\left[\begin{array}{r}3/5\\-4/5\end{array}\right]$
列空间+左零空间的标准正交基为 $u1=15[12],u2=15[2−1]\mathbf{u} 1=\frac{1}{\sqrt{5}}\left[\begin{array}{l}1 \\2\end{array}\right], \mathbf{u} 2=\frac{1}{\sqrt{5}}\left[\begin{array}{r}2 \\-1\end{array}\right]$
由于有零空间，必有 $Av2=σ2u2\mathbf {A}\mathbf v_2=\sigma_2 \mathbf u_2$ 中 $σ2=0\sigma_2=0$ ，则 $Σ=[σ1000]\boldsymbol{\Sigma}=\left[\begin{array}{cc}\sigma_1 & 0 \\0 & 0\end{array}\right]$
通过 $AV=UΣ\boldsymbol{A}\boldsymbol{V} =\boldsymbol{U} \boldsymbol{\Sigma}$ ，一方面确定 $σ1\sigma_1$ 的值，另一方面确保向量 $vi\mathbf{v}_i$ 和 $ui\mathbf{u}_i$ 符号匹配
得到 $σ1=125\sigma_1=\sqrt{125}$ ， $V=15[433−4]\boldsymbol{V}=\frac{1}{5}\left[\begin{array}{cc}4 &3 \\3& -4\end{array}\right]$ ， $U=15[122−1]\boldsymbol{U}=\frac{1}{\sqrt{5}}\left[\begin{array}{cc}1 & 2 \\2& -1\end{array}\right]$

最终，SVD分解结果： $A=UΣVT，[4386]=15[122−1][125000]15[433−4]\boldsymbol{A}=\boldsymbol{U} \boldsymbol{\Sigma} \boldsymbol{V}^{T}，\quad\left[\begin{array}{cc}4 & 3 \\8 & 6\end{array}\right]= \frac{1}{\sqrt{5}}\left[\begin{array}{cc}1 & 2 \\2& -1\end{array}\right] \left[\begin{array}{cc}\sqrt{125} & 0 \\0 & 0\end{array}\right] \frac{1}{5}\left[\begin{array}{cc}4 &3 \\3& -4\end{array}\right]$

再次可见， $A\boldsymbol{A}$ 的零空间向量（即 $V\boldsymbol{V}$ 中的 $v2=[3/5−4/5]\mathbf{v} 2=\left[\begin{array}{r}3/5\\-4/5\end{array}\right]$ ），经过 $AV=UΣ\boldsymbol{A}\boldsymbol{V} =\boldsymbol{U} \boldsymbol{\Sigma}$ 后，对应于 $A\boldsymbol{A}$ 的左零空间向量（即 $U\boldsymbol{U}$ 中的 $u2=15[2−1]\mathbf{u} 2=\frac{1}{\sqrt{5}}\left[\begin{array}{r}2 \\-1\end{array}\right]$ ），也对应于 $Σ\boldsymbol{\Sigma}$ 中的 $σ2=0\sigma_2=0$