AI-2023《Multi-view subspace clustering for learning joint representation via low-rank sparse》

论文基本信息

• 发表时间：2023年5月16日接受，2023年6月29日在线发表
• 期刊：Applied Intelligence（Springer期刊）
• DOI：10.1007/s10489-023-04716-z

核心思想

现有多视图子空间聚类方法仅关注一致表示（所有视图共享）或特定表示（各视图独立），忽略了二者结合对自表示结构学习的价值。本文提出 MSCLR（Multi-view Subspace Clustering via Low-rank Sparse Representation），核心创新点包括：

1. 双表示结构：将自表示矩阵分解为一致部分 $C$（全局共享）和特定部分 $S_{\tau }$（视图独有）。
2. 结构化正则化：
   • 对 $C$ 施加 低秩约束（核范数 $||C|{|}_{\ast }$）和 稀疏约束（$L_1$ 范数 $||C|{|}_1$）
   • 对 $S_{\tau }$ 使用 Frobenius 范数 $||S_{\tau }|{|}_F^2$ 保证视图连通性
3. 几何结构保留：通过流形正则化项 $tr(C{L}_{\tau }^{\ast }{C}^T)$ 和 $tr(S_{\tau }{L}_{\tau }{S}_{\tau }^T)$ 保持低维子空间中的局部几何结构。

目标函数

$$\underset{C,S_{\tau },E_{\tau }}{\min }\Vert C{\Vert }_{\ast }+{\gamma }_1\Vert C{\Vert }_1+\sum _{\tau =1}^M\left({\gamma }_2\Vert S_{\tau }{\Vert }_F^2+{\gamma }_3\Vert E_{\tau }{\Vert }_F^2+{\gamma }_{4}tr(C{L}_{\tau }^{\ast }{C}^T)+(1-{\gamma }_4)tr(S_{\tau }{L}_{\tau }{S}_{\tau }^T)\right)$$
约束条件：$X_{\tau }=X_{\tau }C+X_{\tau }{S}_{\tau }+E_{\tau }$

• 符号说明：
  • $C$：一致表示矩阵（全局低秩稀疏）
  • $S_{\tau }$：视图 $\tau$ 的特定表示矩阵
  • $E_{\tau }$：重建误差矩阵
  • $L_{\tau }^{\ast }$：共享拉普拉斯矩阵（$L_{\tau }^{\ast }={\sum }_{\tau =1}^M{\mu }_{\tau }{L}_{\tau }$）
  • $L_{\tau }$：视图 $\tau$ 的拉普拉斯矩阵（$L_{\tau }=D_{\tau }-G_{\tau }$）
  • ${\gamma }_1,{\gamma }_2,{\gamma }_3,{\gamma }_4$：权衡参数

优化过程（ALM算法）

使用增广拉格朗日乘子法（ALM） 交替优化变量：

1. 引入辅助变量 $K$ 解耦核范数：
   $$\Phi =\Vert K{\Vert }_{\ast }+{\gamma }_1\Vert C{\Vert }_1+\sum _{\tau =1}^M\left(\cdots \right)+⟨{\psi }_{\tau }^1,X_{\tau }-X_{\tau }C-X_{\tau }{S}_{\tau }-E_{\tau }⟩+⟨{\psi }_{\tau }^2,C-K⟩+\frac{\eta }{2}\left(\Vert X_{\tau }-X_{\tau }C-X_{\tau }{S}_{\tau }-E_{\tau }{\Vert }_F^2+\Vert C-K{\Vert }_F^2\right)$$
2. 交替更新：
   • 更新 $K$：通过奇异值阈值（SVT）求解
     $$K=\arg \min \frac{1}{\eta }\Vert K{\Vert }_{\ast }+\frac{1}{2}{\Vert K-\left(C+\frac{{\psi }_{\tau }^2}{\eta }\right)\Vert }_F^2$$
   • 更新 $C$：闭式解
     $$C={\left(\eta I+\eta X_{\tau }^T{X}_{\tau }+2{\gamma }_4{L}_{\tau }+{\gamma }_{1}I\right)}^{-1}\left(\eta X_{\tau }^T{X}_{\tau }+X_{\tau }{\psi }_{\tau }^1-\eta X_{\tau }^T{X}_{\tau }{S}_{\tau }-\eta X_{\tau }^T{E}_{\tau }+\eta K+{\psi }_{\tau }^2\right)$$
   • 更新 $S_{\tau }$：
     $$S_{\tau }={\left(2{\gamma }_{2}I+\eta X_{\tau }{X}_{\tau }^T+(1-{\gamma }_4)L_{\tau }\right)}^{-1}\left({\psi }_{\tau }^1{X}_{\tau }+\eta X_{\tau }{X}_{\tau }^T-\eta X_{\tau }C{X}_{\tau }^T-\eta E_{\tau }{X}_{\tau }\right)$$
   • 更新 $E_{\tau }$：
     $$E_{\tau }=(\eta +2{\gamma }_3{)}^{-1}\left(\eta (X_{\tau }-X_{\tau }C-X_{\tau }{S}_{\tau })+{\psi }_{\tau }^1\right)$$
   • 更新拉格朗日乘子 ${\psi }_{\tau }^1,{\psi }_{\tau }^2$。
3. 迭代直至收敛（最大迭代次数或误差 $<10^{-7}$）。

主要贡献

1. 双表示建模：首次联合学习一致表示 $C$ 和视图特定表示 $S_{\tau }$，增强自表示结构的判别性。
2. 结构化正则化：
   • $L_1$ 范数促进 $C$ 的稀疏性
   • 流形正则化保留几何结构
3. 高效优化：ALM 框架下子问题均有闭式解，保证收敛性。
4. 实验验证：在 9 个基准数据集上超越 11 种对比方法（如表 4-7 所示），例如：
   • BBCSport 数据集：ACC 达 86.53%（比最优基线提升 ≈4%）
   • NGs 数据集：NMI 达 93.89%（FMRSC 基点为 91.73%）

算法实现步骤

输入：多视图数据 $X_\tau \in \mathbb{R}^{D \times N}$，聚类数 $k$，近邻数 $p$，参数 $\gamma_1,\gamma_2,\gamma_3,\gamma_4$  
输出：亲和力矩阵 $A$  
1. 初始化：$C, S_\tau, E_\tau, \psi_\tau^1, \psi_\tau^2 \gets 0$；$\eta \gets 10^{-6}$, $\eta_{\max} \gets 10^3$, $\varphi \gets 1.1$  
2. While 未收敛且未达最大迭代次数:  
   a. 通过 SVT 更新 $K$（公式 9）  
   b. 更新 $C$（公式 11）  
   c. 更新 $S_\tau$（公式 13）  
   d. 更新 $E_\tau$（公式 15）  
   e. 更新拉格朗日乘子 $\psi_\tau^1, \psi_\tau^2$（公式 16）  
   f. 更新 $\eta \gets \min(\varphi \eta, \eta_{\max})$  
   g. 检查收敛条件：$\max\|X_\tau - X_\tau(C + S_\tau) - E_\tau\|_\infty < 10^{-7}$  
3. 计算亲和力矩阵：$A = \frac{C + C^T}{2} + \frac{1}{M} \sum_{\tau=1}^{M} \frac{S_\tau + S_\tau^T}{2}$  
4. 对 $A$ 应用谱聚类（Ng 算法）获得最终聚类结果  

复杂度：$O(t(M{N}^2+MDN))$（$t$ 为迭代次数，$M$ 为视图数，$N$ 为样本数）。

总结

MSCLR 通过联合低秩稀疏表示和流形正则化，解决了多视图子空间聚类中一致性与特定性表示的平衡问题。其创新性目标函数设计、高效的 ALM 优化以及在 9 个数据集上的显著性能提升（平均 ACC/NMI 提升 5–15%），证实了方法的有效性。未来方向包括处理不完整视图和端到端深度表示学习。