Feature Learning based Deep Supervised Hashing with Pairwise Lab...

### Feature Learning Based Deep Supervised Hashing with Pairwise Labels #### 概述 “基于特征学习的深度监督哈希算法与成对标签”是一项在计算机视觉领域的重要研究工作，该研究首次发表于2015年的计算机视觉与模式识别会议（CVPR）。论文作者包括Wu-Jun Li、Sheng Wang以及Wang-Cheng Kang等。本文主要介绍了如何利用深层神经网络进行特征学习，以生成紧凑的二进制编码，并通过成对标签来指导这一过程。 #### 深度哈希简介 传统的哈希方法通常独立地学习哈希码和哈希函数，这种方法在处理大规模数据集时往往不够高效。相比之下，**深度哈希**（Deep Hashing）方法能够同时进行特征学习和哈希码的学习，从而在保持较高检索精度的同时，大大减少了存储空间的需求。本研究提出的**深度监督哈希算法**（Deep Supervised Hashing, DPSH）是一种结合了特征学习与监督信息的深度哈希算法，其目标是生成紧凑且语义上相关的二进制哈希码。 #### 问题定义 DPSH的目标在于构建一个模型，使得对于任何两个相似的数据点，它们之间的汉明距离尽可能小；而对于不相似的数据点，则希望它们之间的汉明距离尽可能大。具体来说，该算法旨在最小化以下损失函数： \[ L = \sum_{i,j} (y_{ij} - \frac{1}{2}(1 - \sigma(H_i^T H_j)))^2 + \lambda R(W) \] 其中，\(y_{ij}\) 是一对数据点 \(i\) 和 \(j\) 的相似性标签（如果 \(i\) 和 \(j\) 相似则为 1，否则为 -1），\(H_i\) 和 \(H_j\) 分别代表对应的哈希码，\(\sigma\) 是sigmoid函数，\(R(W)\) 是正则项用于防止过拟合。 #### 模型与学习 DPSH采用多层神经网络结构，每一层的单元数量随层数递减。例如，对于第 \(m\) 层（\(m = 1, 2, \cdots, M\)），该层有 \(U_m\) 个单元。具体来说： - 第一层作为输入层，接收原始图像像素或手工特征。 - 第二层及之后的层进行特征提取与变换。 - 最顶层输出最终的哈希码。 为了实现这一目标，DPSH采用了深度神经网络的前向传播机制，并通过反向传播算法优化网络参数以最小化损失函数。 #### 实验设置 本研究使用了两个具有挑战性的数据集进行实验验证：CIFAR-10 和 NUS-WIDE。 - **CIFAR-10**: 包含60,000张32x32的彩色图像，共有10个类别，每类至少包含5000张图片。实验中分别设置了无监督和有监督两种情况： - 无监督情况：选择1000张图片（每类100张）作为查询集，剩余的作为训练集。 - 有监督情况：随机选择5000张图片（每类500张）作为训练集。 - **NUS-WIDE**: 包含近270,000张图片，是一个多标签数据集，共有81个类别，其中选取了21个最频繁出现的类别进行实验。每个类别至少包含5000张图片。实验同样分为无监督和有监督两种情况： - 无监督情况：从21个最频繁出现的类别中选择2100张图片（每类100张）作为查询集，剩余的作为训练集。 - 有监督情况：随机选择5000张图片（每类500张）作为训练集。 #### 结果分析 通过对这两个数据集上的实验结果分析，可以看出DPSH在保持较高检索精度的同时，能够显著减少存储空间的需求。特别是在有监督的情况下，DPSH相对于其他方法表现出更好的性能，这主要得益于其结合了深度学习与监督信息的能力，能够在训练过程中学习到更有效的特征表示。 “基于特征学习的深度监督哈希算法与成对标签”不仅为解决大规模图像检索问题提供了一种有效的方法，也为未来的研究提供了有价值的参考方向。