快速联合生物启发式光流算法

### 快速联合生物启发式光流算法 在视觉信息处理领域，如何准确计算光流和视差是一个重要的研究方向。本文将介绍一种快速联合生物启发式算法，用于计算二维视差和光流，该算法具有生物合理性，并且在实际应用中表现出较好的性能。 #### 多通道表示与合作 为了得到更复杂的视觉描述符并解决视觉运动和深度感知问题，V1 区域的输出需要在更高的皮质层进行组合，通过前馈收敛、递归交互和选择过程来实现。不同方向通道的单细胞提取信息的组合是视觉皮层中广泛使用的计算范式。不同的方向通道可以用于消除局部运动和立体估计中固有的模糊性，这是由于著名的孔径问题导致的。 在光流计算中，当边缘大于用于估计图像速度 v 的群体感受野（RFs）时，无法区分沿边缘的运动，因为只能计算特征垂直于边缘的分量。对于具有会聚轴的立体主动视觉系统，也会出现类似的问题，其中存在二维（水平和垂直）视差，可以将向量视差 δ 定义为左右眼中对应点位置的向量差，每个点的位置都是相对于注视点作为原点来测量的。因此，在多个空间方向通道上对视觉信号进行多维表示，有助于提供一个结构参考，以便评估运动和立体信息。 #### 神经架构 用于计算水平和垂直视差以及光流的群体方法具有共同的算法结构： 1. **特征编码**：通过类似于 V1 区域滤波过程的滤波阶段，在不同方向通道上对特征进行分布式编码。 2. **通道解码**：对每个通道进行解码。 3. **特征估计**：通过通道交互来估计特征。 4. **粗到精细化**：对估计结果进行粗到精的细化。 #### 特征编码策略 使用一组具有空间方向 θ 且调谐到不同速度 vθi 和不同视差 δθi 的时空单元来表示特征值。每个单元（一对简单细胞的正交对）由一个 3D 加博尔滤波器描述，以保持在时空域对 3D 方向的敏感性。 选择一组形式为 h(x, t) = g(x)f(t) 的加博尔滤波器，它们均匀覆盖方向空间并最优采样时空域。滤波器的空间分量 g(x) 通过利用其可分离性来构建，以降低计算成本。相对于水平轴旋转角度 θ 的加博尔滤波器定义为： \[g(x, y; \psi, \theta) = e^{-\frac{x_{\theta}^2}{2\sigma_x^2} - \frac{y_{\theta}^2}{2\sigma_y^2}} e^{j(\omega_0 x_{\theta} + \psi)}\] 其中，ω0 是空间径向峰值频率，σx 和 σy 确定滤波器的空间支持，ψ 是正弦调制的相位，(xθ, yθ) 是旋转后的空间坐标。在空间域中，使用 N 个从 0 到 2π 定向且具有相同径向峰值频率的滤波器对方向空间进行均匀采样。为避免在与偶数和奇数加博尔滤波器的卷积中引入不平衡，去除了直流分量的贡献。 **光流**：3D 滤波器的时间分量定义为： \[f(t; \omega_t) = e^{-\frac{t^2}{2\sigma_t^2}} e^{j\omega_t t} 1(t)\] 其中，σt 确定滤波器在时间域的支持，ωt 是时间峰值频率，1(t) 表示单位阶跃函数。每个细胞调谐到速度大小为 vθ 且方向垂直于滤波器首选空间方向 θ 的速度。空间频率 ω0 保持不变，而时间峰值频率根据规则 ωt = vθω0 变化。对于每个空间方向，选择一组 M 个调谐速度。 将描述的时空感受野 h(x, t) 应用于输入图像序列 I(x, t)，得到复响应： \[Q(x_0, t; v_{\theta}) = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} h(x_0 - x, t - \tau) I(x, \tau) dx d\tau\] 根据文献[15]，可以计算运动能量，即复响应的平方模： \[E(x_0, t; v_{\theta}) = |Q(x_0, t; v_{\theta})|^2 = \left|e^{j\psi(t)} \int_{0}^{t} Q(x_0, \tau; v_{\theta}) e^{-j\omega_t \tau} d\tau\right|^2\] 其中，ψ(t) = ψ + ωtt = ψ + ω0vθt。当调谐速度等于刺激中存在的速度时，运动能量单元的响应达到最大值。 **视差**：根据相