DSP-2023《Multi-view clustering for multiple manifold learning via concept factorization》

最新推荐文章于 2025-08-21 19:03:05 发布

Christo3

最新推荐文章于 2025-08-21 19:03:05 发布

阅读量533

点赞数 16

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签：机器学习算法人工智能数据挖掘

本文链接：https://blog.csdn.net/weixin_41552975/article/details/149218413

机器学习专栏收录该内容

143 篇文章

订阅专栏

2. 核心思想

论文提出了一种基于概念分解（Concept Factorization, CF）的多视图聚类方法，称为 多流形学习概念分解（MMLCF, Multi-Manifold Learning Concept Factorization）。其核心思想是通过结合多视图数据的内在几何结构和一致性信息，提升聚类性能。以下是核心思想的几个关键点：

多视图数据处理：多视图数据指的是同一个对象在不同视角（如文本、图像、音频等）下的多种表示形式。MMLCF 旨在融合这些视图的信息，挖掘数据间的互补性和一致性。
流形学习：每个视图的数据具有其独特的几何结构（流形）。MMLCF 通过流形正则化（Manifold Regularization）保留每个视图的局部几何结构，并通过一致性控制项确保不同视图间的协同性。
概念分解：基于 CF 的框架，MMLCF 将数据分解为低维表示，结合视图权重和流形正则化，增强聚类效果。
迭代优化：通过迭代优化非凸目标函数，MMLCF 实现多视图数据的联合表示学习和聚类。

3. 目标函数

MMLCF 的目标函数旨在最小化多视图数据的重构误差，同时保留每个视图的流形结构，并通过一致性控制项协调不同视图的表示。目标函数可以表示为：

$\sum_{i=1}^M \omega_i \left( \| X_i - W_i V_i^T \|_F^2 + \lambda \text{Tr}(V_i^T L_i V_i) \right) + \eta \| V^* - V_i \|_F^2$

符号说明：
- $M$ ：视图数量。
- $X_i$ ：第 $i$ 个视图的数据矩阵，维度为 $\times d_i$ （ $n$ 为样本数， $d_i$ 为特征维度）。
- $W_i$ ：第 $i$ 个视图的关联矩阵（Association Matrix），表示数据点与概念的映射。
- $V_i$ ：第 $i$ 个视图的表示矩阵（Representation Matrix），表示低维表示。
- $V^*$ ：一致性表示矩阵（Consensus Representation Matrix），用于协调不同视图的表示。
- $ωi\omega_i$ ：第 $i$ 个视图的权重，初始值为 $1/ M$ 。
- $L_i$ ：第 $i$ 个视图的拉普拉斯矩阵（Laplacian Matrix），用于捕捉流形结构。
- $λ,η\lambda, \eta$ ：正则化参数，分别控制流形正则化和一致性约束的强度。
- $∥⋅∥F2\| \cdot \|_F^2$ ：Frobenius 范数的平方，表示矩阵的重构误差。
- $Tr(⋅)\text{Tr}(\cdot)$ ：矩阵的迹运算。
目标函数分解：
1. 重构误差： $X_i - W_i V_i^T \|_F^2$ 最小化数据重构误差，确保分解后的表示能够准确还原原始数据。
2. 流形正则化： $λTr(ViTLiVi)\lambda \text{Tr}(V_i^T L_i V_i)$ 保留每个视图的局部几何结构，通过拉普拉斯矩阵约束相邻样本在低维空间中的相似性。
3. 一致性约束： $η∥V∗−Vi∥F2\eta \| V^* - V_i \|_F^2$ 强制不同视图的表示矩阵 $V_i$ 趋向于一致性表示 $V^*$ ，从而增强视图间的协同性。

4. 目标函数的优化过程

由于目标函数 $J$ 是非凸的，MMLCF 采用交替优化策略，通过迭代更新 $W_i$ 、 $V_i$ 、 $V^*$ 和 $L_i$ 来逼近局部最优解。优化过程在算法 1（MMLCF 算法）中详细描述：

初始化：
- 归一化每个视图的数据矩阵 $X_i$ ，使得 $∥Xi∥F=1\left\| X_i \right\|_F = 1$ 。
- 计算每个视图的拉普拉斯矩阵 $L_i$ ，基于最近邻图（Nearest Neighbor Graph）。
- 初始化 $W_i$ 、 $V_i$ 和 $V^*$ 为随机非负矩阵，视图权重 $ωi=1/M\omega_i = 1/M$ 。
迭代更新：
- 更新 $W_i$ ：固定 $V_i$ 和 $V^*$ ，优化 $W_i$ ，通过最小化以下子问题：
  $min_{W_i} \| X_i - W_i V_i^T \|_F^2$
  使用乘法更新规则（Multiplicative Update Rule）：
  $W_i \leftarrow W_i \cdot \frac{(X_i V_i)}{(W_i V_i^T V_i)}$
- 更新 $V_i$ ：固定 $W_i$ 和 $V^*$ ，优化 $V_i$ ，通过最小化：
  $\min_{V_i} \| X_i - W_i V_i^T \|_F^2 + \lambda \text{Tr}(V_i^T L_i V_i) + \eta \| V^* - V_i \|_F^2$
  使用乘法更新规则：
  $V_i \leftarrow V_i \cdot \frac{(W_i^T X_i + \eta V^*)}{(W_i^T W_i V_i + \lambda L_i V_i + \eta V_i)}$
- 更新 $V^*$ ：固定 $W_i$ 和 $V_i$ ，优化 $V^*$ ，通过最小化：
  $\min_{V^*} \sum_{i=1}^M \eta \| V^* - V_i \|_F^2$
  解析解为：
  $V^* = \frac{1}{M} \sum_{i=1}^M V_i$
- 更新拉普拉斯矩阵 $L_i$ ：固定 $W_i$ 、 $V_i$ 和 $V^*$ ，通过最小化流形正则化项更新最近邻图的权重，优化公式为：
  $\min_{L_i} \text{Tr}(V_i^T L_i V_i)$
  具体更新规则参考文献 [25] 的自适应邻居方法。
归一化：在每次迭代后，对 $W_i$ 和 $V_i$ 进行归一化以确保数值稳定性，公式为：
$W_i \leftarrow \frac{W_i}{\sqrt{\sum_j W_{ij}^2}}, \quad V_i \leftarrow \frac{V_i}{\sqrt{\sum_j V_{ij}^2}}$
收敛判断：重复上述步骤，直到目标函数收敛或达到最大迭代次数。
收敛性证明：论文通过引入辅助函数（Auxiliary Function）证明了乘法更新规则的非递增性（Lemma 1）。具体而言，辅助函数 $G (x, x^{'})$ 满足 $\geq F(x)$ 和 $G (x, x) = F (x)$ ，确保每次更新使目标函数值减小或保持不变。

5. 主要贡献点

提出 MMLCF 框架：结合多视图数据的流形结构和一致性约束，提出了一种新的基于概念分解的多视图聚类方法，显著提升聚类性能。
流形正则化与一致性融合：通过引入流形正则化和一致性控制项，MMLCF 能够同时保留每个视图的局部几何结构并协调多视图表示。
迭代优化算法：设计了一种高效的迭代优化策略，通过交替更新 $W_i$ 、 $V_i$ 、 $V^*$ 和 $L_i$ ，解决了非凸目标函数的优化问题。
广泛实验验证：在多个基准数据集上验证了 MMLCF 的优越性，展示了其在准确率（ACC）、归一化互信息（NMI）、F 分数（F-score）等指标上的显著改进。

6. 实验结果

论文在多个公开数据集上评估了 MMLCF 的性能，并与基线方法（如 K-means、CF、NMF、NCMDF、NMMF、PSNMF、MCGL 等）进行了比较。以下是实验结果的总结：

数据集

实验使用了以下基准数据集（见表 1）：

BBC Sport：5 个簇，2 个视图，544 个样本，维度 (3183, 3203)。
BBC：2 个簇，4 个视图，685 个样本，维度 (4630, 4633, 4634, 4634)。
3Sources：5 个簇，2 个视图，1000 个样本，维度 (500, 500, 500, 500)。
Wikipedia Articles：10 个簇，2 个视图，693 个样本，维度 (128, 101)。
WebKB：4 个簇，5 个视图，202 个样本，维度 (500, 500, 500)。
Reuters：6 个簇，2 个视图，1000 个样本，维度 (2000, 2000, 2000, 2000, 2000)。
CiteSeer：6 个簇，2 个视图，3312 个样本，维度 (3312, 3703)。
Texas：5 个簇，2 个视图，187 个样本，维度 (1702, 187)。

评估指标

准确率（ACC）：衡量聚类结果与真实标签的匹配程度。
F 分数（F-score）：综合精度和召回率的指标。
归一化互信息（NMI）和精度（Precision）：用于进一步评估聚类质量。

结果分析

表 2（ACC）：
- MMLCF 在多个数据集上的 ACC 显著优于基线方法。例如，在 BBC 数据集上，MMLCF 的 ACC 达到 50%以上，而 K-means 和 CF 的 ACC 分别为 44.29% 和 56.34%。
- 在 Wikipedia Articles 数据集上，MMLCF 的 ACC 超过 55%，优于 NCMDF（30%-40%）和 NMMF（约 50%）。
表 4（F-score）：
- MMLCF 在 F-score 上表现优异，例如在 3Sources 数据集上达到 49.73%，相比 K-means（35.26%）和 CF（49.73%）有显著提升。
- 在 Texas 数据集上，MMLCF 的 F-score 为 41.1%，优于 K-means（39.3%）和 NMF（41.2%）。
表 6（执行时间）：
- MMLCF 的执行时间在合理范围内，例如在 BBC Sport 数据集上为 36.21 秒，表明其计算效率可接受。
参数敏感性：
- 图 3 和图 4 显示了 MMLCF 对参数 $β\beta$ 、 $γ\gamma$ 和 $η\eta$ 的敏感性分析。结果表明，MMLCF 在参数变化下具有较好的鲁棒性，尤其在 $η\eta$ 的不同取值下，ACC 在 3Sources 数据集上保持稳定。
比较分析：
- 与单视图方法（如 K-means、CF）相比，MMLCF 通过融合多视图信息显著提升了性能。
- 与其他多视图方法（如 NMMF、NCMDF、MCGL）相比，MMLCF 通过流形正则化和一致性约束实现了更好的聚类性能，尤其在高维和复杂数据集上。

7. 算法实现过程

以下是 MMLCF 算法的详细实现步骤，基于算法 1 的描述：

输入

数据矩阵 $\{X_1, X_2, \dots, X_M\}$ ，每个 $X_i$ 为第 $i$ 个视图的数据。
簇数量 $c$ 。
参数 $ρ,γ,λ,η\rho, \gamma, \lambda, \eta$ 和最近邻数量 $p$ 。

输出

最终关联矩阵 $W^*$ 。
最终表示矩阵 $V^*$ 。
一致性矩阵 $V^*$ 。

实现步骤

预处理：
- 对每个视图的数据矩阵 $X_i$ 进行归一化： $∥Xi∥F=1\left\| X_i \right\|_F = 1$ 。
- 构建最近邻图，计算每个视图的拉普拉斯矩阵 $L_i$ ，基于 $p$ 个最近邻。
- 初始化 $W_i$ 、 $V_i$ 和 $V^*$ 为随机非负矩阵，视图权重 $ωi=1/M\omega_i = 1/M$ 。
迭代优化：
- 循环直到收敛或达到最大迭代次数：
  - 对于每个视图 $\dots, M$ ：
    1. 更新 $W_i$ ：使用公式 $Wi←Wi⋅(XiVi)(WiViTVi)W_i \leftarrow W_i \cdot \frac{(X_i V_i)}{(W_i V_i^T V_i)}$ 。
    2. 更新 $V_i$ ：使用公式 $Vi←Vi⋅(WiTXi+ηV∗)(WiTWiVi+λLiVi+ηVi)V_i \leftarrow V_i \cdot \frac{(W_i^T X_i + \eta V^*)}{(W_i^T W_i V_i + \lambda L_i V_i + \eta V_i)}$ 。
    3. 归一化 $W_i$ 和 $V_i$ ：使用公式 $Wi←Wi∑jWij2W_i \leftarrow \frac{W_i}{\sqrt{\sum_j W_{ij}^2}}$ ， $Vi←Vi∑jVij2V_i \leftarrow \frac{V_i}{\sqrt{\sum_j V_{ij}^2}}$ 。
  - 更新 $V^*$ ：计算 $V∗=1M∑i=1MViV^* = \frac{1}{M} \sum_{i=1}^M V_i$ 。
  - 更新 $L_i$ ：根据自适应邻居方法更新拉普拉斯矩阵 $L_i$ ，具体参考文献 [25]。
收敛检查：
- 检查目标函数 $J$ 的值是否收敛（即变化小于某个阈值）或是否达到最大迭代次数。
- 如果收敛，返回最终的 $W^*$ 、 $V^*$ 和 $V^*$ 。
聚类：
- 使用 $V^*$ 作为最终的低维表示，应用 K-means 或其他聚类算法得到最终的簇分配。

计算复杂度

最近邻图构建： $O(p n^2)$ ，其中 $p$ 为最近邻数量， $n$ 为样本数。
核矩阵计算： $O(m n^2)$ ，其中 $m$ 为视图数量。
乘法更新：每次迭代的复杂度为 $O (mn c)$ ，其中 $c$ 为簇数量。
总复杂度：假设迭代 $t$ 次，总复杂度为 $O(p n^2 + m n^2 + t m n c)$ 。

总结

这篇论文提出了一种创新的多视图聚类方法 MMLCF，通过结合概念分解、流形正则化和一致性约束，显著提升了多视图数据的聚类性能。其目标函数综合考虑了数据重构、流形结构和视图间一致性，通过迭代优化实现局部最优解。实验结果表明，MMLCF 在多个基准数据集上优于传统单视图和多视图聚类方法，具有较强的鲁棒性和高效性。算法实现过程清晰，适合在高维、复杂多视图数据场景中应用。