基于地面图案相机跟踪的体育赛事增强现实显示系统

### 基于地面图案相机跟踪的体育赛事增强现实显示系统 #### 1. 引言 近年来，计算机视觉和图像处理技术在体育视频领域得到了广泛应用，为观众带来了全新的观赛体验。例如，在足球比赛转播中叠加虚拟越位线，在游泳比赛中叠加世界纪录线等，这些增强现实（AR）视频合成技术为观众提供了更沉浸的观赛感受和额外信息。其关键在于准确估计拍摄体育赛事的相机位置和姿态。 同时，多相机拍摄体育赛事也带来了新的观察体验。Eye Vision通过切换不同视角的相机实现了类似飞越的观看效果，而基于计算机视觉技术的自由视点合成则可以合成新的视角视频。将AR显示与自由视点合成相结合，能够进一步提供沉浸式的体育赛事观察方式。不过，以往的一些系统存在只能进行基于图像的渲染，无法渲染虚拟物体的问题，而虚拟物体渲染在显示如足球门、移动的球等无法在输入视频中捕获的对象时非常有用。 本文提出了一种基于视频透视设备的足球比赛AR观察系统，该系统可以将CG渲染融入到桌面足球场模型图像中，利用球场模型上的图案和AR工具包标记实时估计观察相机的参数（投影矩阵），从而实现将真实球场相机拍摄的图像和CG图像叠加到观察图像中，并且在观察相机视角与真实球场相机视角差异较大时，还可以渲染CG生成的球员。 #### 2. 系统概述 该系统的数据处理分为离线阶段和在线阶段： - **离线阶段**： - 用多个未校准的相机从多个视角拍摄足球比赛，得到球场相机的视频。 - 进行球员区域分割，采用基于足球场地面平面约束的方法，避免背景减法和图割法的缺点。 - 检测视频中的特征，如球场图案的线条和球的位置，用于校准相机。 - **在线阶段**： - 检测观察相机图像中球场图案罚球区的四个角位置，计算观察相机到真实球场的投影矩阵。 - 根据投影矩阵选择最接近观察相机的球场相机。 - 将选定球场相机中球员的位置计算并转换到观察相机坐标，将分割的球员图像叠加到观察相机图像中。 #### 3. 离线阶段处理 ##### 3.1 球员区域分割 传统的背景减法在球员有阴影时不适用，图割法需要手动干预。本文采用基于足球场地面平面约束的方法，假设球员站在地面上，通过使用地面平面的单应性矩阵将像素转移到其他相机并比较颜色，判断像素是否在球员区域内。 - **原理**：假设球员区域内一个相机的像素颜色P与通过单应性矩阵转移到其他相机对应位置的像素颜色Pi不同，即$P \neq P_i$。 - **优点**：可以避免将阴影区域分割为球员区域。 - **单应性矩阵计算**：在离线阶段，通过指定相机之间地面平面上的对应点来计算球场相机之间的单应性矩阵。 #### 4. 在线阶段处理 ##### 4.1 检测观察相机中的罚球区 为了估计观察相机的投影矩阵，需要检测罚球区的四个角位置： 1. **初始预测**：使用易于检测的AR标记（如ARTag）预测罚球区角的初始位置。 2. **模板匹配**： - 在初始预测点的邻域设置搜索区域。 - 将捕获的图像转换为顶视图图像。 - 在顶视图图像中，以初始预测点为中心取小窗口图像作为模板图像。 - 在搜索区域内搜索模板图像，得到准确的角位置。 3. **投影矩阵计算**： - 利用检测到的罚球区四个角点计算单应性矩阵H。 - 使用真实球场中罚球区角的位置，将观察相机连接到真实球场坐标。 - 通过公式$\begin{bmatrix}1 & 0 & \tilde{X} \\ 1 & \tilde{Y} & 0 \\ 1 & Y & X\end{bmatrix}P = \begin{bmatrix}1 & 0 & \tilde{X} \\ 1 & \tilde{Y} &