基于多假设方法的球跟踪系统解析

### 基于多假设方法的球跟踪系统解析 在计算机视觉领域，球的跟踪与预测是一个具有挑战性的任务，特别是在复杂的场景中。本文将介绍一种基于多假设方法的球跟踪系统，该系统能够从立体相机中对飞行中的球进行三维跟踪和预测。 #### 1. 系统背景与目标 机器人技术不仅能将人类从繁重危险的任务中解放出来，还能从机器的视角探索动态运动和感知的世界。例如，RoboCup 2050 设想了一场人机足球比赛。我们的兴趣在于从球员视角对足球比赛进行视觉感知。此前我们研究了如何从移动相机的图像中预测飞行中的球，而现在要介绍的是一个基于静态相机的多球鲁棒跟踪与预测系统。 这个系统有三个主要贡献： - 新颖的圆形检测器：避免了硬性决策和阈值，提高了鲁棒性。 - 多假设跟踪（MHT）系统：基于 Cox 的实现，能稳健处理多个飞行球以及错误或缺失的测量值。 - 自动校准机制：通过观察飞行球来学习物理参数（球半径、相机坐标系中的重力向量、空气阻力）。 球跟踪在电视体育场景增强中很重要。以往的一些视觉系统利用电视视角，以球场为静态均匀背景。而我们的系统旨在从球员视角，在移动和杂乱的背景中工作，因此提出了新的圆形检测器。 #### 2. 系统架构 系统采用两阶段自下而上的处理过程： 1. **第一阶段**：从一对相机中提取圆形候选对象，通过对所有圆心和半径进行详尽搜索。 2. **第二阶段**：使用 MHT 算法将两个图像中的圆形候选对象融合为球的轨迹。 下面是系统的流程示意图： ```mermaid graph LR classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px; A[左相机]:::process --> B[圆形检测器]:::process C[右相机]:::process --> D[圆形检测器]:::process B --> E[2 - D 圆形候选对象]:::process D --> F[2 - D 圆形候选对象]:::process E --> G[多假设跟踪器（MHT）]:::process F --> G G --> H[无迹卡尔曼滤波器（UKF）]:::process H --> I[跟踪的 3 - D 球]:::process ``` #### 3. 圆形检测 ##### 3.1 改进的圆形响应定义 我们的方法与圆形霍夫变换相关，两者都定义了圆形响应 $CR(x_c, y_c, r)$ 作为圆心 $(x_c, y_c)$ 和半径 $r$ 的函数，并搜索其局部最大值。但圆形霍夫变换存在两个硬决策，影响了鲁棒性：一是对边缘像素的分类阈值，对光照和图像模糊敏感；二是垂直直线的半像素准则，对噪声敏感。 我们提出了一种光照不变且连续无阈值的圆形响应定义，它表示沿圆的图像对比度中可解释为径向强度梯度的平均比例。具体来说，通过将局部图像块分解为多个分量，取线性强度分量的平方范数与局部图像方差的比值，得到一个光照不变的度量。 实际中，得到一个对比度归一化的 Sobel 滤波器 $C$，圆形响应 $R(\alpha)(x, y)$ 是径向方向 $(\cos\alpha, \sin\alpha)$ 与 $C$ 的标量积的平方： \[ R(\alpha) = \left(\begin{bmatrix} \cos\alpha \\ \sin\alpha \end{bmatrix} \cdot C \right)^2 \] 其中， \[ C = \frac{\sqrt{2}}{16} \begin{bmatrix} \begin{bmatrix} -1 & 0 & +1 \\ -2 & 0 & +2 \\ -1 & 0 & +1 \end{bmatrix} * I, \begin{bmatrix} -1 & -2 & -1 \\ 0 & 0 & 0 \\ +1 & +2 & +1 \end{bmatrix} * I \end{bmatrix}^T \] 圆形响应 $CR(x_c, y_c, r)$ 是圆上径向梯度的平均比例： \[ CR(x_c, y_c, r) = \frac{1}{2\pi} \int_{0}^{2\pi} \left(\begin{bmatrix} \cos\alpha \\ \sin\alpha \end{bmatrix} \cdot C \left( x_c + r\cos\alpha, y_c + r\sin\alpha \right) \right)^2 d\alpha \] 最后，$N_{cand}$ 个最大的局部最大值作为 MHT 的圆形候选对象。 ##### 3.2 实时实现