奇异值分解_Linear Algebra-CSDN博客

奇异值分解–SVD

奇异值分解算是特征值分解的变种，相较于特征值分解，可适用范围更广，主要用于提取主要特征，因为矩阵可能是有很多0的稀疏矩阵，存储量大且浪费空间，这时就需要提取主要特征
奇异值分解是将任意较复杂的矩阵用更小、更简单的 3个子矩阵的相乘表示，用这3个小矩阵来描述大矩阵重要的特性。

应用：在使用线性代数的地方，基本上都要使用 SVD。 SVD 不仅仅应用在 PCA 、图像压缩、数字水印、推荐系统和文章分类、 LSA (隐性语义分析)、特征压缩(或数据降维)中，在信号分解、信号重构、信号降噪、数据融合、同标识别、目标跟踪、故障检测和神经网络等方面也有很好的应用，是很多机器学习算法的基石。

特征值分解

特征值分解是矩阵分解的一种方法，矩阵分解也称为矩阵因子分解，即将原始矩阵表示成新的结构简单或者具有特殊性质的两个或多个矩阵的乘积，类似于代数中的因子分解。

特征值分解的实质是求解给定矩阵的特征值和特征向盘，提取出矩阵最重要的特征，其中特征值分解公式
$A=Q\sum Q^{-1}$
, 其中Q为特征向量矩阵， Σ 是特征值对角阵。

奇异值分解(singular value Decomposition)

奇异值分解 (Singular Value Decompostion) 是六种矩阵分解中综合性最强，应用最广的分解，即最好的分解，也是主成分分析 (PCA)(principal component analysis) 的基础。六种矩阵分解分别为：

LU分解（LU Decomposition）：将一个矩阵分解为一个下三角矩阵和一个上三角矩阵的乘积，常用于求解线性方程组和计算行列式。
QR分解（QR Decomposition）：将一个矩阵分解为一个正交矩阵和一个上三角矩阵的乘积，常用于求解最小二乘问题和计算特征值与特征向量。
Cholesky分解（Cholesky Decomposition）：将一个对称正定矩阵分解为一个下三角矩阵的转置和一个下三角矩阵的乘积，常用于求解线性方程组和进行最小二乘拟合。
特征值分解（Eigenvalue Decomposition）：将一个方阵分解为由特征值和特征向量组成的对角矩阵和一个可逆矩阵的乘积，常用于求解线性方程组、计算矩阵的幂以及矩阵的指数函数等。
奇异值分解（Singular Value Decomposition，SVD）：将一个矩阵分解为由奇异值组成的对角矩阵和两个正交矩阵的乘积，常用于数据压缩、降维和数据去噪等。
Schur分解（Schur Decomposition）：将一个矩阵分解为一个上Hessenberg矩阵(上三角矩阵)和酉矩阵的乘积，常用于计算特征值和Schur正交多项式等问题。

$A=LU\\A=QR\\A=LL^T\\A=XΛX^{-1}\\A=U\sum V^T\\S=QΛQ^T$

上Hessenberg矩阵

海森堡阵（Hessenberg），是一个数学用语，对方阵A，若i＞j+1时，有a(i,j)=0，则称A是上海森堡阵。

酉矩阵

若n阶复矩阵A满足
$A^HA=AA^H=E$
则称A是酉矩阵，记作 A ∈ U ^nxn

例子:
$A=\begin{bmatrix} cos\theta&isin\theta\\ isin\theta&cos\theta \end{bmatrix}\\ B=\begin{bmatrix} \frac{-1-i}{2}&\frac{-1-i}{2}\\ \frac{1+i}{2}&\frac{-1-i}{2} \end{bmatrix}$
都为酉矩阵

值得注意的是：只有矩阵为方阵(m=n)时，才有特征值；但对任何一个矩阵，都能求奇异值，因此SVD对所有矩阵均适用。即任意矩阵可分解为 A = UΣV^T ,分解结果为正交矩阵U ,对角矩阵Σ，正交矩阵V 。

如果矩阵 A 为正定矩阵，他的奇异值分解就是 A=QΛQ^T，一个正交矩阵 Q 就可以满足分解，而不需要两个。而对于可对角化的矩阵有 A =SΛS^-1，但特征向量矩阵 S 并不是正交矩阵，而 SVD 中的 U 和 V 都是正交矩阵。

众所周知，矩阵乘向量是对向量做线性变换，如旋转，拉伸，翻折等。旋转与翻折可以通过正交矩阵(Orthogonal matrices)实现，如二维直角坐标系下旋转与翻折可通过如下两个正交矩阵描述：
$Q_{rotate}=\begin{bmatrix} cos\theta&-sin\theta\\ sin\theta&cos\theta \end{bmatrix}\\ Q_{reflect}=\begin{bmatrix} cos\theta&sin\theta\\ sin\theta&-cos\theta \end{bmatrix}$