61、基于冗余最小化的矩阵分解无监督特征选择方法

基于冗余最小化的矩阵分解无监督特征选择方法

1 引言

在无监督特征选择（UFS）中，选择最具代表性的特征并减少特征间的冗余是关键任务。为实现这一目标，我们提出了一种结合矩阵分解和冗余最小化的方法。

2 方法原理

2.1 基本矩阵分解模型

首先，我们从一个基本的矩阵分解问题开始：
[
\min_{U^TU = I, U \geq 0, W} |X - UW^T|_F^2
]
其中，$U \in R^{n\times c}$ 是聚类指示矩阵，$W \in R^{d\times c}$ 是基矩阵。我们依据相关定理，通过基矩阵 $W$ 进行特征选择。

2.2 特征选择定理

给定 $X = {f_1, f_2, \ldots, f_d}$ 且 $|f_i|_1 = 1, \forall i$，我们使用 $UW^T$ 重构 $X$，即 $\hat{X} = UW^T$，并在 $U$ 正交的条件下通过 $W$ 进行特征选择。证明过程如下：
由于 $\hat{X} = UW^T$，可得 $f_i = Uw_i^T$。
[
|\hat{f}_i|_2^2 = |Uw_i^T|_2^2 = w_iU^TUw_i^T = |w_i^T|_2^2
]

2.3 引入冗余最小化和正则化

为了减少特征间的冗余，我们提出以下框架：
[
\min_{U^TU = I, U \geq 0, W} |X - UW^T|_F^2 + G(W) + R(W)
]
其中，$G(W)$ 是正则