有限训练数据下用于图像分类的聚合距离度量学习（ADM）

### 有限训练数据下用于图像分类的聚合距离度量学习（ADM） 在医疗应用等场景中，图像分类是一项至关重要的任务。例如，在基于内容的图像检索（CBIR）中，需要区分代表不同病理的图像；在图像数据融合和图像配准中，要识别常见的解剖标志。一般来说，医学图像分类主要从两个方面进行探索：一是提取具有代表性的特征集，二是找到图像之间合适的相似度度量方法，后者即距离度量学习，其探索程度不如前者广泛，但在提高图像分类准确性方面具有巨大潜力。 #### 1. 相关背景 - **距离度量学习方法分类**：大多数距离度量学习（DML）方法可分为无监督和有监督两类。有监督方法需要带有用户定义标签或成对约束的训练图像，在医学应用中更为常见。 - **Boosted Distance Metric Learning（BDM）**：Yang等人提出了用于图像检索和分类的BDM方法。其定义的数据点x1和x2之间的距离函数为： \[d(x1, x2) = \sum_{i = 1}^{T}\alpha_{i}(f_{i}(x1) - f_{i}(x2))^{2}\] 其中，\(f_{i}(x)\)是一个二元分类函数，\(\alpha_{i}\)是组合权重，\(T\)是迭代次数。在图像分类时，使用所有训练图像学习距离度量\(d\)，然后计算测试图像\(t\)与每个训练图像的距离，将距离最近的类作为测试图像所属的类。当训练数据量足够大时，结合最近邻搜索，该方法在多类医学图像分类中被证明是高效且准确的。 - **Bootstrap Aggregating（Bagging）**：Breiman表明，通过对原始数据集进行自助采样生成多个分类器版本，然后利用各个分类器的结果达成共识预测，可以提高分类准确性。并且从理论上证明了Bagging分类器平均而言比单个分类器表现更好。 然而，在医学成像问题中，标注良好的训练数据往往难以获取。特别是在有监督的多类图像分类中，每个图像类别的训练图像数量可能有限，导致样本量在统计上可能不合理。虽然Bagging方法可以在一定程度上改善有限训练图像下的图像分类性能，但其最终分类通过多数投票实现，当每个单独分类器的性能受训练数据大小限制时，仍有进一步改进的空间。 #### 2. 聚合距离度量学习（ADM）方法 - **理论直觉**：ADM方法受到BDM和Bagging的启发，将两者的优点相结合。它首先构建多个训练图像子集，然后从这些子集中获取聚合距离用于图像分类。 - **构建训练图像子集**：从原始训练数据集\(\Omega\)中构建\(M\)个训练图像子集。假设共有\(k\)个不同类别的训练图像\(C_{1}, \cdots, C_{k}\)，每个类别\(C_{i}\)（\(i \in \{1, \cdots, k\}\)）包含\(n\)个训练图像\(C_{i} = \{(x_{ij}, y_{i})\}\)（\(i \in \{1, \cdots, k\}; j \in \{1, \cdots, n\}\)），其中\(x_{ij}\)是训练图像，\(y_{i}\)是相应的类别标签。由于关注的是每个类别训练图像数量\(n\)较小的情况，假设\(k > n\)。在每次迭代中，随机选择\(n\)个类别的训练图像组成一个训练图像子集\(\Omega_{m}\)，总共得到\(M = {k \choose n}\)个训练图像子集\(\Omega_{m}\)（\(m \in \{1, \cdots, M\}\)），\(\Omega_{m}\)包含所选\(n\)个类别的所有训练图像。 - **ADM图像分类过程**： 1. 对每个子集\(\Omega_{m}\)执行BDM，得到两个图像\(x1\)和\(x2\)之间的相应距离度量\(d_{m}(x1, x2)\)。 2. 对于给定的测试图像\(t\)，使用\(d_{m}\)定义\(t\)与类别\(C_{i} = \{(x_{ij}, y_{i})\}\)（\(i \in \{1, \cdots, k\}; j \in \{1, \cdots, n\}\)）之间的聚合距离为： \[d_{m}(t, C_{i}) = \frac{1}{n}\sum_{j = 1}^{n}d_{m}(t, x_{ij})\] 3. 最后，将所有\(d_{m}\)（\(m \in \{1, \cdots, M\}\)）求和，得到图像\(t\)与类别\(C_{i}\)之间的聚合距离： \[D(t, C_{i}) = \sum_{m = 1}^{M}d_{m}(t, C_{i})\] 4. 选择聚合距离最小的类别\(C'\)作为测试图像\(t\)所属的类别，数学表达式为： \[C' = \arg\min_{i}[D(t, C_{i})]\] #### 3. ADM优于BDM的理论证明 为了证明ADM在图像分类上比BDM更准确，进行如下数学证明： - **定义相关概率**：设使用第\(m\)个距离学习过程将测试图像\(t\)分类到类别\(C\)的概率为\(\psi_{m}(t, C)\)（\(m \in \{1, \cdots, M\}\)），使用所有距离学习过程（集成分类器）将\(t\)分类到类别\(C\)的概率为\(\Psi(t, C)\)。 - **定理**：假设\(t\)的正确分类为类别\(C_{r}\)，则\(\Psi(t, C_{r}) \geq \psi_{m}(t, C_{r})\)。 - **证明过程**： 1. 假设\(t\)的错误分类为类别\(C_{w}\)，从统计角度合理假设\(E(d_{m}(t, C_{w})) > E(d_{m}(t, C_{r}))\)，其中\(E()\)是期望运算。引入辅助变量\(g_{t}^{m} = d_{m}(t, C_{w}) - d_{m}(t, C_{