融合颜色、深度和运动信息的视频分割方法

### 融合颜色、深度和运动信息的视频分割方法 #### 1. 引言 计算机视觉的主要任务之一是对视频序列进行解读。传统方法通常依赖灰度或彩色数据来推断语义信息。近年来，基于飞行时间（ToF）相机的新方法逐渐兴起。ToF相机能生成低分辨率的距离图像（深度图），其像素值表示相机传感器像素与物体之间的距离。 不过，ToF相机技术存在一些局限性： - 传感器平面上像素尺寸较大，导致分辨率相对较低； - 距离测量不够精确； - 校准过程困难； - 物体表面特性会影响反射，进而影响测量距离。 目前还没有一个理论模型能涵盖所有与距离数据采集相关的问题，但这并不妨碍一些公司推出基于ToF相机的产品。对于处理3D对象的应用，仅依靠ToF相机的距离图像无法得到完整的3D场景模型。 本文提出了一种基于像素的方法，通过在深度图上应用背景减除技术来分析场景的动态内容。该方法可作为基于3D模型方法的预处理步骤，用于定位前景中的物体。背景减除是将背景像素（无运动检测）与前景中移动物体的像素分离。但在交互式应用中，仅使用背景减除技术可能无法准确分割用户，尤其是当用户靠近背景物体时。为解决这些问题，本文提出结合深度和颜色信息来增强背景减除算法的鲁棒性。 #### 2. 飞行时间相机的原理 这里主要讨论PMD（光子混合器件）ToF相机的基本原理。PMD相机用红外光（λ = 870 nm）照亮整个场景，其包络进行幅度调制：$s(t) = a + b \cos(\omega t)$（其中$a > b > 0$，$t$是时间，$\omega$对应20 MHz的调制频率）。 传感器的每个像素接收场景反射的时间延迟和衰减信号与少量环境光的总和。假设接收器只对红外光敏感，接收到的信号为$r(t) = ka + kb s(t - \Delta t) = a' + b' \cos(\omega(t - \Delta t))$。 在PMD相机中，设备将接收到的信号$r(t)$与4个内部信号$f_{\theta}(t) = a + b \cos(\omega t + \theta \frac{\pi}{2})$（$\theta \in \{0, 1, 2, 3\}$）连续相乘，并计算它们的互相关性$cor_{\theta}$。如果积分周期（快门时间）$T$是$\frac{2\pi}{\omega} = 50$ ns的倍数，则： $cor_{\theta} = \frac{1}{T} \int_{<T>} f_{\theta}(t)r(t) dt = aa' + \frac{bb'}{2} \cos(\omega\Delta t + \theta\frac{\pi}{2})$ 相机与目标之间的距离$d$通过$c \Delta t / 2$估算（$c \approx 3 \times 10^8$ m/s是光速），使用四个互相关值计算： $d = \frac{c \arg (cor_0 - j cor_1 - cor_2 + j cor_3)}{2 \omega}$ 接收到信号的幅度$b'$也会被提供，它与互相关性的峰 - 峰幅度$A$相关： $A = bb' = \sqrt{(cor_0 - cor_2)^2 + (cor_1 - cor_3)^2}$ 接收到信号的连续分量$a'$由强度$I$表示，估算为： $I = aa' = \frac{cor_0 + cor_2}{2} = \frac{cor_1 + cor_3}{2}$ 综上所述，PMD相机每个像素提供三个值：$d$、$A$和$I$，分别表示估计距离、信号质量和接收到的红外光的时间平均量。 #### 3. 飞行时间相机的局限性 PMD相机给出的信号（$d$、$A$和$I$）并不完美。理论原理和实际实现之间存在差异，电子设备会引入一些延迟，波包络也不是完美的正弦波。此外，$d$存在静态误差，即摆动效应，它是真实距离的振荡和周期性函数。$d$的标准差与其均值成正比，因此$d$上噪声的方差与深度