ESA-2024《Joint Projected Fuzzy Neighborhood Preserving C-means Clustering with Local Adaptive Learn》

论文基本信息

• 发表时间：2024年
• 期刊：Expert Systems With Applications (Volume 255, 124617)
• 作者：Yunlong Gao, Zhenghong Xu, Feiping Nie, Yisong Zhang, Qingyuan Zhu, Guifang Shao
• 机构：厦门大学、西北工业大学、德国亚琛工业大学等

核心思想

传统聚类算法（如模糊C均值，FCM）在降维时面临局部邻域结构不一致问题：高维空间中邻近的点在低维空间中可能被分配到不同簇，违反流形假设（邻近点应属同一簇）。本文提出联合投影模糊邻域保持C均值聚类（PFNPCM），通过同时学习以下四个部分解决该问题：

1. 聚类中心 $M$
2. 稀疏隶属度矩阵 $U$
3. 投影子空间 $W$
4. 结构化相似图 $S$
   核心创新：引入基于流形结构的模糊局部相似性度量 $G_{ij}$，确保降维后邻近点隶属同一簇，同时利用 ${\ell }_{2,1}$-范数提升抗噪性。

目标函数

目标函数整合聚类、降维与图学习：
$$\begin{gathered} \underset{U,M,W,S}{\min }\sum _{i=1}^c\sum _{j=1}^n{u}_{ij}\left(\Vert W^T{x}_j-m_i{\Vert }_2+\gamma G_{ij}\right)+\beta \Vert U{\Vert }_F^2+ \\ \alpha \left(\sum _{j,k}\Vert W^T{x}_j-W^T{x}_k{\Vert }_2{s}_{jk}+\lambda \Vert S{\Vert }_F^2\right)+\rho \Vert W{\Vert }_{2,1} \end{gathered}$$
约束条件：

• $U1=1,U\ge 0$（隶属度概率约束）
• $S1=1,S\ge 0$（相似度矩阵行归一化）
• $W^T{S}_{t}W=I$（投影正交约束，$S_t=X^{T}X$)

关键组件：

1. 模糊局部因子 $G_{ij}$：
   $$G_{ij}=\sum _{k=1}^n{s}_{jk}(1-u_{ik})\Vert W^T{x}_k-m_i{\Vert }_2$$
   • $s_{jk}$ 控制样本 $x_j$ 与邻居 $x_k$ 的相似度
   • $(1-u_{ik})$ 加速收敛，确保邻近点隶属度一致
2. ${\ell }_{2,1}$-范数 $\Vert W{\Vert }_{2,1}$：诱导投影矩阵行稀疏，提升特征选择能力。

优化过程（坐标下降法）

1. 固定 $S,W,M$，更新隶属度矩阵 $U$

• 问题转化为约束二次规划：
  $$\underset{u_j}{\min }{\Vert u_j+\frac{t_j}{2\beta }\Vert }_2^2\text{s.t.}{u}_j^{T}1=1,u_j\ge 0$$
  其中 $t_j=(1-\gamma {\sum }_k{u}_{ik}{s}_{kj})\Vert W^T{x}_j-m_i{\Vert }_2$。
• 通过KKT条件与牛顿法求解。

2. 固定 $S,U,W$，更新聚类中心 $M$

• 采用迭代重加权优化：
  $$m_i=W^T\widetilde{m_i},\widetilde{m_i}=\frac{{\sum }_j{r}_{ij}{x}_j}{{\sum }_j{r}_{ij}}$$
  其中 $r_{ij}=z_{ij}/(2\Vert W^T{x}_j-m_i{\Vert }_2)$，$z_{ij}=u_{ij}+\gamma ({\sum }_k{u}_{ik}{s}_{kj})(1-u_{ij})$。

3. 固定 $S,U,M$，更新投影矩阵 $W$

• 广义特征分解求解：
  $$(A+\alpha X^{T}LX+\rho D)W=\lambda S_{t}W$$
  其中 $A=X^{T}CX+M^{T}FM-2X^T{R}^{T}M$（由定理1导出），$L$ 为相似图拉普拉斯矩阵。

4. 固定 $U,W,M$，更新相似图 $S$

• 按行独立求解：
  $$\underset{s_k}{\min }{\Vert s_k+\frac{d_k}{2\lambda }\Vert }_2^2\text{s.t.}{s}_k^{T}1=1,s_k\ge 0$$
  其中 $d_{jk}=\gamma {\sum }_i{u}_{ij}(1-u_{ik})\Vert W^T{x}_k-m_i{\Vert }_2+\alpha \Vert W^T{x}_j-W^T{x}_k{\Vert }_2$。

主要贡献

1. 统一框架：同时学习聚类、降维、相似图，保留全局与局部判别信息。
2. 模糊局部相似性度量 $G_{ij}$：确保流形假设成立，解决邻近点标签不一致问题。
3. 鲁棒性设计：${\ell }_{2,1}$-范数抑制噪声/异常值影响。
4. 理论保证：证明算法收敛性（定理2），分析计算复杂度 $O(d^3+(n+d)qcnpt)$。
5. 实验优势：在12个数据集上超越16种对比方法（如PCA、LPP、PCAN、RJSFCM等），ACC最高提升15%（ORL数据集）。

实验结果

1. 人工数据集验证

• 平衡/不平衡簇：PFNPCM通过 $G_{ij}$ 纠正边界点错误分类（图1-2）。
• 抗噪性：添加噪声特征后，PFNPCM精度下降最小（图3），因 ${\ell }_{2,1}$-范数和图优化增强鲁棒性。

2. 真实数据集性能

• 可视化验证：t-SNE与KNN图显示PFNPCM在低维空间类内紧致、类间分离（图7-8）。

3. 消融实验

• 移除 $G_{ij}$（PFNPCM0）导致ACC显著下降（图9），证明局部相似度量的必要性。
• 参数 $\gamma$ 需调小（通常 $<1$），过大则导致优化失效。

4. 抗噪实验

• 在Yale数据集添加高斯/椒盐/遮挡噪声，PFNPCM的ACC/NMI始终最高（表6-7），因 ${\ell }_{2,1}$-范数加权抑制异常点。

算法实现流程

输入: 数据矩阵 $X\in {\mathbb{R}}^{n\times d}$, 簇数 $c$, 降维维度 $p$, 近邻数 $K$, 参数 $\gamma ,\alpha ,\rho ,\beta$
输出: $U,M,W,S$
1: 初始化 $U$ (满足 $U1=1,U\ge 0$), $S$ (行归一化), $W=I_{d\times p}$
2: while 未收敛 do
3: 计算辅助矩阵 $Y_{ij}=1/(2\Vert W^T{x}_j-m_i{\Vert }_2)$ 和 $R_{ij}=z_{ij}{Y}_{ij}$
4: 计算 $B_{jk}$ 和 $D_{ii}=1/(2\Vert w_i{\Vert }_2)$
5: 更新 $U$: 求解子问题 (14)
6: 更新 $M$: $m_i=W^T({\sum }_j{r}_{ij}{x}_j/{\sum }_j{r}_{ij})$
7: 更新 $W$: 广义特征分解 $(A+\alpha X^{T}LX+\rho D)W=\lambda S_{t}W$
8: 更新 $S$: 逐行求解子问题 (33)
9: end while
10: 根据 $U$ 分配样本标签: $x_j$ 属于簇 $i$ 若 $u_{ij}={\max }_k{u}_{kj}$

关键实现细节：

• 初始化：用FCM生成初始 $U$ 和 $M$，减少随机性影响。
• 复杂度优化：对高维数据（如 $d>n$）先用PCA降维。
• 参数设置：
  • $\beta$ 控制隶属度稀疏性（取小值）
  • $\rho$ 控制特征选择强度（取大值）
  • $\gamma$ 调节局部信息权重（取 $10^{-3}\sim 1$）

总结

PFNPCM通过联合优化聚类、降维与图学习，解决了传统方法在低维空间违反流形假设的问题。其核心创新——模糊局部相似性度量 $G_{ij}$ 和 ${\ell }_{2,1}$-范数鲁棒设计，在多个数据集上显著提升聚类精度（最高+15%），且对噪声和异常值具有强鲁棒性。未来工作可探索参数 $\gamma$ 的自适应选择及多目标优化的进一步加速。

理解模糊局部因子 $G_{ij}$：核心机制与数学洞察

1. 算法设计动机：解决流形-聚类冲突

传统模糊C均值（FCM）在降维中存在根本性矛盾：

• 流形假设：高维空间中邻近点 ($s_{jk}$ 大) 应属同一簇
• 聚类现实：FCM根据距离分配标签，可能导致 $\Vert W^T{x}_j-m_i\Vert$ 和 $\Vert W^T{x}_k-m_i\Vert$ 差异大，使 $u_{ij}\ne u_{ik}$
  $G_{ij}$ 的使命：充当流形结构与聚类分配的协调器，通过惩罚项强制邻近点标签一致

2. 数学构造解析：结构化正则项

$$G_{ij}=\underset{\text{邻居聚合}}{\underbrace{\sum _{k=1}^n}}\underset{\text{空间相似度}}{\underbrace{s_{jk}}}\underset{\text{标签差异}}{\underbrace{(1-u_{ik})}}\underset{\text{投影空间距离}}{\underbrace{\Vert W^T{x}_k-m_i{\Vert }_2}}$$

• $s_{jk}$：基于局部流形结构的相似度矩阵，通常由KNN图或热核函数生成：
  $$s_{jk}=\{\begin{array}{ll}\exp \left(-\frac{\Vert x_j-x_k{\Vert }^2}{\sigma }\right)& x_k\in \mathcal{N}(x_j)\\ 0& \text{否则}\end{array}$$
• $(1-u_{ik})$：标签不一致性度量器
  • 当 $u_{ik}\to 0$ (点$k$不属于簇$i$)，惩罚项激活
  • 当 $u_{ik}\to 1$ (点$k$属于簇$i$)，惩罚项消失
• $\Vert W^T{x}_k-m_i{\Vert }_2$：投影空间的簇内紧致性约束

3. 优化动力学：如何驱动算法收敛

在目标函数中 $G_{ij}$ 通过 $\gamma$ 加权影响聚类：
$$\min \sum _{i,j}{u}_{ij}\left(\underset{\text{标准FCM项}}{\underbrace{\Vert W^T{x}_j-m_i{\Vert }_2}}+\gamma \underset{\text{局部一致性项}}{\underbrace{G_{ij}}}\right)$$

作用机制：

1. 梯度引导：$G_{ij}$ 对 $u_{ik}$ 的偏导数为：
   $$\frac{\partial G_{ij}}{\partial u_{ik}}=-s_{jk}\Vert W^T{x}_k-m_i{\Vert }_2$$
   该梯度推动 $u_{ik}$ 增大（尤其当 $s_{jk}$ 大且 $\Vert W^T{x}_k-m_i\Vert$ 小时）

2. 标签传播：对样本 $x_j$ 的优化会通过 $s_{jk}$ 连锁影响其邻居 {xk}\{x_k\}{xk​} 的隶属度

3. 鞍点逃离：当相邻点 $(x_j,x_k)$ 有 $s_{jk}>0$ 但 $u_{ij}\gg u_{ik}$ 时，$G_{ij}$ 产生强梯度打破次优平衡

物理意义图解

考虑两个空间邻近点 $(x_j,x_k)$ 和簇中心 $m_i$ 的关系：

\begin{array}{c}
\text{ } \\
x_j \bullet \overset{\large s_{jk}}{\longrightarrow} \bullet x_k \\
\downarrow{\small \|W^Tx_j - m_i\|} \quad \downarrow{\small \|W^Tx_k - m_i\|} \\
m_i \bullet
\end{array}

• 若 $u_{ik}$ 偏小：$G_{ij}$ 增大 $\Rightarrow$ 算法有两种选择：
  1. 增大 $u_{ik}$ 使 $(1-u_{ik})$ 减小
  2. 调整 $W$ 或 $m_i$ 减小 $\Vert W^T{x}_k-m_i\Vert$
     二者都促使 $x_k$ 与 $x_j$ 同簇

与经典方法的对比

创新本质：$G_{ij}$ 建立了空间相似度$s_{jk}$ → 标签一致性$(1-u_{ik})$ → 投影空间结构$\Vert W^T{x}_k-m_i\Vert$ 的闭环调节机制

工程实现启示

1. 计算效率：实际只需计算 $s_{jk}>0$ 的K近邻，复杂度 $O(nK)$
2. 参数调节：
   • $\gamma$ 控制局部一致性强度，过大易导致过平滑
   • 初始化 $s_{jk}$ 时建议用自适应带宽 $\sigma =\frac{1}{n}\sum \Vert x_j-x_k{\Vert }^2$
3. 异常处理：当 $\Vert W^T{x}_k-m_i\Vert =0$ 时，添加小扰动 $ϵ$ 避免除零错误

总结

$G_{ij}$ 是流形学习与模糊聚类的桥梁性创新：

• 数学本质：基于图结构的条件惩罚项
• 算法角色：邻域驱动的标签传播算子
• 理论价值：解决了流形假设在模糊聚类中的形式化难题
  其核心在于通过 $(1-u_{ik})$ 将空间邻近性转化为标签相似性约束，使投影空间保持局部结构的同时完成聚类一致性优化，这是高维数据分析的重要突破。