生物信息启发的立体匹配与多相机层次网格人员跟踪方法

### 生物信息启发的立体匹配与多相机层次网格人员跟踪方法 #### 生物信息启发的立体匹配 在立体匹配领域，提出了一种为立体图像对生成曲线并据此推断对齐是否有意义的方法。 ##### 实验设置 为验证算法，多数实验采用Middlebury的基准框架，该框架被计算机视觉界广泛接受用于客观比较立体匹配算法。此外，为展示方法的通用性，还将其应用于第二张图像是第一张图像畸变版本的图像对。 当算法返回多个最优解时，通过应用32种不同的约束条件来选择唯一解，以确保扫描线的连续性。若有指定，视差图会经过中值滤波器（MF）进行后处理，这是一种简单有效的提升结果的方法。 自动参数配置方面，首先要配置匹配、间隙和扩展间隙等得分参数。由于这些参数对图像特征敏感，需为每对立体图像进行定制。若已知实际视差图，可应用优化函数来最大化匹配精度，但这种方法缺乏实际应用价值。 为此，提出通过SIFT算法建立稀疏像素对应关系来生成伪真实视差图。将对应扫描线上的关键点配对以计算视差值（代码可在www.cs.ubc.ca/~lowe/keypoints/获取）。不过，由于检测到的配对较少（Middlebury数据集中的图像少于100对），初始集不适合用于参数优化。为增加数量，采用Delaunay三角剖分来估计更多像素的视差。以关键点为顶点，为每个三角形计算两个网格之间的单应变换，再用这些变换估计更大的视差值集。仅使用边长小于15像素的三角形，这些视差值的平均像素误差低于0.5，可视为真实视差图用于参数优化。相关数据如下表所示： | 数据集 | 视差点数量 | 平均误差 | | --- | --- | --- | | Cones | 657 | 0.36 | | Teddy | 190 | 0.46 | | Venus | 211 | 0.27 | | Tsukuba | 600 | 0.45 | 其流程如下： ```mermaid graph LR A[获取图像] --> B[SIFT算法建立稀疏像素对应] B --> C[关键点配对计算视差] C --> D[Delaunay三角剖分] D --> E[计算单应变换] E --> F[估计视差值] F --> G[筛选边长小于15像素三角形] G --> H[用于参数优化] ``` ##### 性能表现 在立体图像对对应方面，展示了原始视差图，并提供定量结果验证算法。表格量化了扩展间隙（EG）的引入和自动参数选择（AP）的过程，同时给出了现有先进方法的性能，如基于扫描线的动态规划（DP）、解决扫描线间相关性的树状DP以及基于段的立体匹配器。 分析表格可知，引入扩展间隙适合处理遮挡问题，性能显著提升。应用中值滤波器对视差图进行处理，引入扫描线间的相关性，提高了准确性。使用AP配置得到的结果虽比使用最优参数的系统性能有所下降，但仍令人满意，例如在4对图像中有3对优于Bobick的方法。 | 方法 | Tsukuba(non occ) | Venus(non occ) | Teddy(non occ) | Cones(non occ) | All(bad pixels) | | --- | --- | --- | --- | --- | --- | | Klaus et al. 2006 | 1.11 | 0.11 | 4.22 | 2.48 | 4.23 | | Veksler 2005 | 1.99 | 1.41 | 15.9 | 10.0 | 11.7 | |