机器学习——奇异值分解

奇异值分解

奇异值分解是一种矩阵因子分解方法，是线性代数概念，但在统计学习中被广泛使用，成为其重要工具
主要应用 在主成分分析、潜在语义分析上
奇异值分解的矩阵不需要是方阵，任意矩阵都可以进行分解，都可以表示为三个矩阵的乘积（因子分解）形式，分别是m阶正交矩阵、由降序排列的非负对角线元素组成的m×n矩形对角矩阵和n阶正交矩阵，称为该矩阵的奇异值分解。
矩阵的奇异值分解一定存在，但不唯一。奇异值分解可以看做矩阵数据压缩的一种方法。

奇异值分解可以表示为3个实矩阵乘积的运算，
Ａ＝UΣV^T
其中U是m阶正交矩阵，V是n阶正交矩阵，Σ是由降序排列的非负的对角元素组成的m×n矩形对角矩阵，满足：
UU^T=I
VV^T=I
这两条是正交矩阵的性质
Σ=diag（σ₁，σ₂，σ₃……σ_p）
σ₁≥σ₂≥σ₃≥……≥σ_p≥0
p=min（m,n）
这样就满足了Σ是降序排序并且非负
UΣVT 称为矩阵A的奇异值分解，σi 称为矩阵A的奇异值，U的列向量称为左奇异向量，V的列向量称为右奇异向量。
注意奇异值分解不要求矩阵A是方阵，这与特征值分解不同，这个任意矩阵就行

练习+解析