广义度量群学习与组合距离相似度度量方法研究

### 广义度量群学习与组合距离相似度度量方法研究 #### 广义度量群学习（GMSL） 1. **PubFig人脸数据集测试结果** PubFig数据集与LFW数据集在无约束人脸验证方面具有相似特性，它包含来自200个人的58,797张人脸图像。为评估有效性，实验采用10折交叉验证，从140个人中选取20,000对样本，每一折包含1000对相同样本和1000对不同样本。 对比几种当前的度量学习方法，GMSL模型在PubFig数据集上与其他流行度量学习方法进行了受限设置下的比较，结果如下表所示： | 方法 | 准确率（%） | | --- | --- | | Euclidean | 72.5 | | LMNN | 73.5 | | ITML | 69.3 | | DML - eig | 77.4 | | LDML | 77.6 | | KissMe | 77.6 | | Sub - SML | 77.3 | | GMSL | 78.5 | 从表中可以看出，GMSL的准确率为78.5%，比KissMe约提高了1%。与Sub - SML的ROC曲线对比结果也明显显示出GMSL模型的优越性。 2. **GMSL模型总结** GMSL模型旨在通过正则化度量学习模型同步学习基于局部补丁的子度量，以获得一个度量群。将GMSL的对偶问题表示为二次规划问题，通过选择性优化算法结合FISTA算法可以有效求解。利用对偶解表示局部补丁子度量，再通过构建的联合相似度函数将样本对转换到向量相似度空间（度量群空间）。基于此，可以轻松解决类似SVM的分类任务，用于人脸验证问题。在多个基准UCI数据集和真实世界的LFW、PubFig人脸数据集上的实验结果表明，GMSL在一般分类任务和无约束人脸验证中具有优越性。 #### 组合距离和相似度度量（CDSM） 1. **问题提出** 距离和相似度度量通常被认为是模式分类的补充。虽然已有一些方法在成对限制下整合距离和相似度度量，但在三元组限制下，联合学习距离和相似度度量的研究较少，且基于三元组模型的核扩展既复杂又计算成本高。因此，提出了一种计算组合距离和相似度度量（CDSM）的新方法。 2. **问题表述** - **CDSM和成对核解释** 给定样本对$x_i$和$x_j$，CDSM定义为： $C(x_i, x_j) = \mu x_i^T S x_j - (1 - \mu)(x_i - x_j)^T M(x_i - x_j)$ 其中，$\mu$（$0 \leq \mu \leq 1$）用于平衡距离和相似度度量。与以往不同，这里去除了对$S$和$M$的正半定（PSD）限制，CDSM只是一个广义相似度度量而非度量。从成对核的角度来看，CDSM可以解释为度量学习和张量学习成对核的组合，类似于多核学习（MKL），但不同的是，CDSM分别为张量学习成对核和度量学习成对核明确分配了正权重和负权重，而MKL中的集成权重应为非负。实验结果表明，这种集成方案比单纯的张量学习成对核（相似度度量）和度量学习成对核（距离度量）具有更好的性能。 - **基于三元组的学习模型** 该模型由三元组约束、正则化项和边缘损失三部分组成。 - **三元组约束**：定义一组$T$个三元组$\{(x_{1,1}, x_{1,2}, x_{1,3}), \cdots, (x_{t,1}, x_{t,2}, x_{t,3}), \cdots, (x_{T,1}, x_{T,2}, x_{T,3})\}$，其中$x_{t,1}$和$x_{t,2}$来自同一类（相似），$x_{t,1}$和$x_{t,3}$来自不同类（不相似）。要求相似对$(x_{t,1}, x_{t,2})$的CDSM大于不相似对$(x_{t,1}, x_{t,3})$的CDSM，即$C(x_{t,1}, x_{t,2}) - C(x_{t,1}, x_{t,3}) \geq 1$。引入松弛元素$\xi_t$，约束变为$C(x_{t,1}, x_{t,2}) - C(x_{t,1}, x_{t,3}) \geq 1 - \xi_t$，$\xi_t \geq 0$。同时，将成对核扩展到相应的三元组核。 - **边缘损失**：选择所有松弛元素的和作为边缘损失，即$\rho(\xi) = \sum_{t = 1}^{T} \xi_t$，通过最小化该边缘损失来满足约束条件。 - **正则化项**：为提高学习模型的泛化能力，结合了对$M$和$S$的正则化项，新的正则化项为$r(M, S) = ||M - \alpha_1 I||_F^2 + ||S - \alpha_2 I||_F^2$，其中$0 \leq \alpha_1, \alpha_2 \leq 1$。 - **CDSM学习模型**：综合以上三部分，CDSM学习模型的三元组损失表示为： $\min_{M,S,\xi} F(M, S, \xi) = \frac{1}{2}(||M - \alpha_1 I||_F^2 + ||S - \alpha_2 I||_F^2) + C \sum_{t = 1}^{T} \xi_t$ s.t. $tr(X_{t,1} + X_{t,2