Machine Learning-L20-降维

1. 主成分分析

主成分分析（PCA，Principal Component Analysis）将数据从原来的坐标系转换到新的坐标系，新坐标系的选择由数据本身决定。

1.1 问题定义

$n$维正交空间中，坐标系 W n = { w 1 , w 2 , . . . , w n } W_n=\{w_1,w_2,...,w_n\} Wn​={w1​,w2​,...,wn​}，其中$w$是标准正交基，即$||w|{|}_2=1,w_i^T{w}_j=0$。

$m$个样本数据$({\mathbf{x}}^{(1)},{\mathbf{x}}^{(2)},...,{\mathbf{x}}^{(m)}),\sum _{i=1}^m{x}^{(i)}=0$（已中心化）。

其中$${\mathbf{x}}^{(i)}=(x_1^{(i)},x_2^{(i)},...,x_n^{(i)}{)}^T，i=1,2,...,m$$

将$m$个数据的维度从$n$维降到$n^{\prime }$维（通常由用户指定），新的坐标系 W = { w 1 , w 2 , . . . , w n ′ } W = \{w_1,w_2,...,w_{n'}\} W={w1​,w2​,...,wn′​}，

样本点${\mathbf{x}}^{(i)}$在新的$n^{\prime }$维坐标系中投影：
$${\mathbf{z}}^{(i)}=(z_1^{(i)},z_2^{(i)},...,z_{n^{\prime }}^{(i)}{)}^T,i=1,2,...,m$$其中$$z_j^{(i)}=w_j^T{\mathbf{x}}^{(i)},i=1,2,...,m,j=1,2,...,n^{\prime }$$
是${\mathbf{x}}^i$在低维坐标系中第$j$维的坐标。

使用${\mathbf{z}}^i$恢复原始数据${\mathbf{x}}_i$，则得到的恢复数据
$${\overline{\mathbf{x}}}^{(i)}=\sum _{j=1}^{n^{\prime }}{z}_j^{(i)}{w}_j=W{z}^{(i)}$$

1.2 优化目标

降维相当于使用一个超平面对样本进行表达，该超平面具有以下性质

• 最近重构性：样本点到这个超平面距离足够近
• 最大可分性：样本点在这个超平面上的投影尽可能分开

（1）基于最小投影距离

希望$m$个$n^{\prime }$维的数据集尽可能的代表原始数据集，即数据从$n$维降到$n^{\prime }$维的损失尽可能小，优化目标为
$$\min \sum _{i=1}^m||{\overline{\mathbf{x}}}^{(i)}-{\mathbf{x}}^{(i)}|{|}_2^2$$

$$\begin{array}{rl}\sum _{i=1}^m||{\overline{\mathbf{x}}}^{(i)}-{\mathbf{x}}^{(i)}|{|}_2^2& =\sum _{i=1}^m||W{\mathbf{z}}^{(i)}-{\mathbf{x}}^{(i)}|{|}_2^2\\ & =-tr(W^{T}X{X}^{T}W)+\sum _{i=1}^m{\mathbf{x}}^{(i)T}{\mathbf{x}}^{(i)}\end{array}$$ 由于$\sum _{i=1}^m{\mathbf{x}}^{(i)}{\mathbf{x}}^{(i)T}$是数据集的协方差矩阵，为常量，优化目标等价于：
$$\begin{array}{rl}\underset{W}{\min }& -tr(W^{T}X{X}^{T}W)\\ & s.t.W^{T}W=I\end{array}$$

（2）基于最大投影方差

对于任意一个样本${\mathbf{x}}^{(i)}$，在新的坐标系中的投影为$W^T{\mathbf{x}}^{(i)}$，在新坐标系中的投影方差为$W^T{\mathbf{x}}^{(i)}{\mathbf{x}}^{(i)T}W$，
要使所有的样本的投影方差和最大，也就是最大化$\sum _{i=1}^m{W}^T{x}^{(i)}{x}^{(i)T}W$的迹，即：
$$\begin{array}{rl}\underset{W}{\max }& tr(W^{T}X{X}^{T}W)\\ & s.t.W^{T}W=I\end{array}$$

可以看出最近重构性等价于最大可分性。

1.3 问题求解

使用拉格朗日乘子法，引入拉格朗日函数$$J(W)=-tr(W^{T}X{X}^{T}W+\lambda (W^{T}W-I))$$
对$W$求导，令导数等于0得，$$X{X}^{T}W=\lambda W$$

$W$为$X{X}^T$的$n^{\prime }$个特征向量组成的矩阵，而$\lambda$为$X{X}^T$的若干特征值组成的矩阵，特征值在主对角线上，其余位置为0。将数据集从$n$维降到$n^{\prime }$维时，需要找到最大的$n^{\prime }$个特征值对应的特征向量。

对协方差矩阵$X{X}^T$进行特征值分解，将求得的特征值排序：
$${\lambda }_1\ge {\lambda }_2\ge ...\ge {\lambda }_n$$取前$n^{\prime }$个特征值对应的特征向量构成解
$$W^{\ast }=(w_1,w_2,...w_{n^{\prime }})$$
实践中，一般对$X$进行奇异值分解代替协方差矩阵的特征值分解。

2. SVD

奇异值分解(SVD，Singular Value Decomposition)是以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域，是很多机器学习算法的基石。

2.1 特征分解

$A$是一个$n$阶矩阵，若$\lambda$和$n$维非零向量$\mathbf{x}$满足：$$A\mathbf{x}=\lambda \mathbf{x}$$则$\lambda$是矩阵$A$的一个特征值，$\mathbf{x}$是矩阵$A$对应特征值$\lambda$的特征向量。
$\mid \lambda E-A\mid$称为$A$的特征多项式，当特征多项式等于0的时候，称为$A$的特征方程，特征方程是一个齐次线性方程组，求解特征值的过程就是求解特征方程的解。

矩阵$A$的$n$个特征值${\lambda }_1\le {\lambda }_2\le ...\le {\lambda }_n$，以及这$n$个特征值所对应的特征向量 { w 1 , w 2 , . . . w n } \{w_1,w_2,...w_n\} {w1​,w2​,...wn​}，如果这$n$个特征向量线性无关，那么矩阵A就可以用下式的特征分解表示：$$A=W\Sigma W^{-1}$$

其中，$W$是这$n$个特征向量所张成的$n\times n$矩阵，而$\Sigma$为这$n$个特征值为主对角线的$n\times n$阶矩阵。
一般会把$W$的$n$个特征向量标准化，即满足$||w_i|{|}_2=1$ 或者说$w_i^T{w}_i=1$，此时$W$的$n$个特征向量为标准正交基，满足$W^{T}W=I$，即$W^T=W^{-1}$， 也就是说$W$为酉矩阵。
此时特征分解表达式可以写成：$$A=W\Sigma W^T$$

2.2 SVD

要进行特征分解，矩阵$A$必须为方阵，那么如果$A$不是方阵，即行和列不相同时，需要使用SVD。
假设矩阵$A$是一个$m\times n$的矩阵，定义矩阵$A$的SVD为：$$A=U\Sigma V^T$$

其中$U$是一个$m\times m$的矩阵，$V$是一个$n\times n$的矩阵。$U$和$V$称为A的左/右奇异向量矩阵，都是酉矩阵，即满足$U^{T}U=I,V^{T}V=I$。
$\Sigma$是一个$m\times n$的矩阵，除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值，通常将奇异值由大到小排列，这样$\Sigma$便能由$A$唯一确定。

奇异值与特征分解中的特征值类似，在奇异值矩阵中也是按照从大到小排列，而且奇异值的减少特别的快。很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说，也可以用最大的$k$个的奇异值和对应的左右奇异向量来近似描述矩阵：

$$\begin{array}{rl}{A}_{m\times n}=& U_{m\times m}{\Sigma }_{m\times n}{V}_{n\times n}^T\\ \approx & U_{m\times k}{\Sigma }_{k\times k}{V}_{k\times n}^T\end{array}$$

其中$k$要比$n$小很多，即一个大的矩阵$A$可以用三个小的矩阵$U_{m\times k},{\Sigma }_{k\times k},V_{k\times n}^T$来表示：

由于这个重要的性质，SVD可以用于PCA降维，来做数据压缩和去噪。也可以用于推荐算法，将用户和喜好对应的矩阵做特征分解，进而得到隐含的用户需求来做推荐。同时也可以用于NLP中的算法，比如潜在语义索引（LSI）。