2.1D草图与分层表示：从图像到结构化理解

### 2.1D草图与分层表示：从图像到结构化理解 在计算机视觉领域，对图像的理解和处理是一个核心问题。为了更深入地解析图像内容，2.1D草图和分层表示的概念应运而生。本文将深入探讨如何将输入图像分解为多个层，推断部分遮挡顺序关系，并尽可能完成被遮挡的轮廓。 #### 1. 基本概念 - **原始草图（Primal sketch）**：是一种通用的两层二维表示，旨在将图像内容通过显式基函数或特征统计进行解释。它试图将图像域分解为纹理元结构域和剩余的纹理域。 - **2.1D草图（2.1D sketch）**：由Nitzberg和Mumford提出，用于连接低级图像基元（如边缘、结点和纹理原子区域）和中级的Marr 2.5D草图。它捕捉场景中多个对象表面或通用区域之间的部分遮挡顺序，代表它们之间的相对深度排名信息。 - **分层图像表示（Layered image representation）**：由Adelson和Wang提出，在图像编码和运动分析中得到应用。在实际应用中，分层表示的思想已广泛应用于图像编辑软件，如Adobe的Photoshop，可用于添加文本、矢量图形形状或应用图层样式以添加特殊效果。 #### 2. 问题提出 为了推断2.1D草图，我们构建一个三层模型：从输入图像 \( I \) 到其二维表示 \( W_{2D} \)，再到2.1D草图 \( W_{2.1D} \)，表示为： \[ \mathbf{I} \rightarrow W_{2D} \rightarrow W_{2.1D} \] - **二维表示 \( W_{2D} \)**：表示一组待分层的二维元素，如二维原子区域、二维曲线和曲线组，以及推理所需的相关属性。若仅考虑二维区域，有： \[ W_{2D} = \{ n, (R_i, l_i, \theta_i)_{i=1}^{n} \} \] 其中 \( R_i \) 是区域，由预定义模型族中索引为 \( l_i \) 的区域模型表示，参数为 \( \theta_i \)。 - **2.1D草图 \( W_{2.1D} \)**：表示一组表面、它们的部分遮挡顺序以及用于完成不同表面区域的轮廓。一个表面由一个或多个具有完整轮廓的二维区域组成。 \[ W_{2.1D} = \{ m, \{ S_i \}_{i=1}^{m}, \mathcal{PR} \} \] 其中 \( m \) 个表面（ \( m \leq n \) ），\( \bigcup_{i} S_i = \mathcal{D} \)，\( \mathcal{PR} \) 表示 \( m \) 个表面之间的部分遮挡顺序，由有向无环图（DAG）即Hasse图表示。 #### 3. 推断假设 为了推断2.1D草图，我们考虑两种不同的假设： - **假设一**：假设二维表示 \( W_{2D} \) 已经计算完成，并在推断2.1D草图时保持固定。这是文献中常用的方法。 - **假设二**：联合计算二维表示 \( W_{2D} \) 和2.1D草图 \( W_{2.1D} \)。这会导致更大的搜索空间，通常需要更强大的搜索算法，如DDMCMC。 #### 4. 变分公式 Nitzberg和Mumford提出了一种基于Mumford - Shah能量泛函的变分公式，用于推断2.1D草图。 - **Mumford - Shah能量泛函**：用于低级图像分割，是一个分段光滑模型，旨在将图像分割成尽可能少且简单的区域，同时保持每个区域的颜色尽可能平滑和缓慢变化。 \[ E_{MS}(f, \Gamma | \mathbf{I}) = \mu^2 \int_{\mathcal{D}} (f - \mathbf{I})^2 dx + \int_{\mathcal{D} - \Gamma} \| \nabla f \|^2 dx + \nu \int_{\Gamma} ds \] 其中第一项衡量 \( f \) 对 \( I \) 的近似程度，第二项要求 \( f \) 除边界外缓慢变化，第三项要求轮廓集尽可能短且简单。 - **2.1D能量泛函**：类似地，Nitzberg和Mumford提出的能量泛函在最优重叠表面分层时达到最小值。 \[ E_{2.1D}(\{ S_i \}, \mathcal{PR} | \mathbf{I}) = \sigma \sum_{i=1}^{n} \{ \mu^2 \int_{S_i'} (\mathbf{I} - m_i) dx + \epsilon \int_{S_i} dx + \int_{\partial S_i - \partial \mathcal{D}} \phi(\kappa) ds \} \] 其中 \( m_i \) 是图像 \( I \) 在 \( S_i' \) 上的均值，\( \kappa \) 是边界 \( \partial S_i \) 的曲率，\( \phi(\kappa) \) 定义为： \[ \phi(\kappa) = \begin{cases} \nu + \alpha \kappa^2, & |\kappa| < \frac{\beta}{\alpha} \\ \nu + \beta |\kappa|, & |\kappa| \geq \frac{\beta}{\alpha