立体视觉与明暗恢复形状技术解析

### 立体视觉与明暗恢复形状技术解析 #### 立体视觉形状恢复 立体视觉形状恢复问题中涉及左右原子区域 \(l_i, r_i \in \pi_i\)，它们属于同一边缘基元 \(\pi_i\)。先验概率 \(P(V_0, V_1) = P(V_0)P(V_1)\) 假定 \(V_0\) 上为均匀先验，而 \(P(V_1)\) 由上述定义的连接点先验 \(P(\varphi_i)\) 定义，即 \(P(V_1) = \prod_{\varphi_i \in J} P(\varphi_i)\)。 在问题的公式化表述中，存在离散和连续两种类型的变量： - **离散变量**：\(\Delta = V_1^d \cup R^d\)，其中 \(V_1^d = \{ (t(\pi), o^l(\pi), o^r(\pi), p(\pi)), \forall \pi \in V_1 \}\) 且 \(R^d = \{ (s(r), o(r), p(r)), \forall r \in R \}\)。 - **连续变量**：\(V_1^c = V_1 - V_1^d\) 和 \(R^c = R - R^d\)，可分为边界条件 \(\Gamma = V_0^c \cup \{ d(\pi), \forall \pi \in V_1, p(\pi) = 1 \}\) 和填充变量 \(\Psi = \{ ([w(\pi)], [f(\pi)]), \forall \pi \in V_1 \} \cup \{ d(\pi), \forall \pi \in V_1, p(\pi) = 0 \} \cup R^c - V_0^c\)。 后验概率可写为 \(p(V_1, R | \mathbf{I}_l, \mathbf{I}_r) = p(\Delta, \Gamma, \Psi | \mathbf{I}_l, \mathbf{I}_r)\)。在最大后验概率（MAP）公式化中，算法需完成以下三项任务： 1. 重建 3D 草图以推断基元的参数 \(\theta\)。 2. 标记基元图以推断离散参数 \(\eta\)，即关联基元与适当的类型，这代表了图像表面边界和特征点的检测。 3. 利用马尔可夫随机场（MRF）以及 \(\theta\) 和 \(\eta\) 作为边界条件，对图像的其余部分进行“填充”，以推断 \(\Phi\) 并获得密集视差图 \(D\)。 算法的执行步骤如下： 1. **初始化**：仅基于基元 \(\pi \in V_1\) 处存在的局部深度 \(\psi_{\pi}\) 和似然 \(L_{\pi}(t)\) 信息初始化系统，会得到一个仅在具有可靠局部深度信息的地方有效的不一致初始解。通过使用连接点先验 \(P(\varphi)\) 可以实现重大改进，它提供了一种沿着草图边缘快速传播深度信息的方法。使用仅考虑边缘区域 \(\pi_i \in V_1\) 的匹配成本和连接点先验的后验概率近似：\(P(V_i | \mathbf{I}_l, \mathbf{I}_r) \propto \prod_{i = 1}^{n_e} L_{\pi_i}(t_i) \prod_{\varphi_i \in J} P(\varphi_i)\)。在此阶段，高度依赖薄板样条先验的变量将被赋予一些默认值，例如翼参数 \(w_i, \forall \pi_i \in V_1\) 赋值为 0，遮挡标签 \(o_i\) 赋值为 1（未遮挡）。初始化算法交替执行以下马尔可夫链蒙特卡罗（MCMC）步骤： - 单节点移动：一次改变一个变量 \(d_i\)。 - 同步移动：同时将同一连接点 \(\varphi\) 处的所有 \(d_i\) 移动相同的值，当仅改变一个基元的视差因连续性先验而被拒绝时，此移动能够调整连接点处基元的视差。 - 标记移动：如下面的 MCMC 算法所述，为一组基元和连接点提出新的标记，使用 Metropolis - Hastings 方法基于式（8.34）的后验概率接受该移动。 算法运行 \(10|V_1|\) 步，约 10 秒即可获得如图所示的初始化结果。由于未执行内部像素的填充，消除了昂贵的 MRF 计算，初始化算法非常快。曲线基元的 3D 重建以类似方式单独进行，标记移动更简单，因为曲线基元基本上接受两种标签：表面/非表面。匹配成本低且方差小（小于 1）的矩形区域将最初标记为薄板样条的控制点。 下面是初始化过程的 mermaid 流程图： ```mermaid graph LR A[开始] --> B[基于局部信息初始化] B --> C{初始化是否满意?} C -- 否 --> D[使用连接点先验改进] D --> E[交替执行 MCMC 步骤] E --> F[运行 10|V1| 步] F --> G[结束初始化] C -- 是 --> G ``` 2. **更新填充变量 \(\Phi\)**：在能量公式化中，如果 \(\eta\) 和 \(\theta\) 固定，\(-\log(P(\Psi | \Delta, \Gamma))\) 是所有变量 \(\Phi\) 的二次函数，因此可以解析地最小化。这意味着 \(\Phi\) 可以视为 \(\eta\) 和 \(\theta\) 的函数，\(\Phi = \Phi(\eta, \theta)\)，从而将问题限制为最大化概率 \(P(\eta, \theta, \Phi(\eta, \theta) | \mathbf{I}_l, \mathbf{I}_r)\)，其维度小得多。在由控制点草图基元界定的每个区域 \(