纹理与纹理基元：计算机视觉中的图像建模探索

### 纹理与纹理基元：计算机视觉中的图像建模探索 #### 1. 纹理建模基础 在纹理建模的研究中，我们首先关注如何选择合适的特征来描述纹理模式。历史上有多种模型被提出，其中基于团簇的模型将能量函数指定为特征统计量，但在建模纹理模式方面表现不佳。而基于滤波器的模型更符合神经生理学中人类视觉的认知，图像与滤波器的卷积（滤波器响应）以及滤波器激活的直方图（将图像投影到滤波器上的边缘统计量）是较为合理的特征选择。 随后引入的滤波器、随机场和最大熵（FRAME）模型，统一了基于团簇和基于滤波器的模型。通过最小 - 最大熵原理的追求过程，我们可以找到一组合适的滤波器，并在吉布斯分布下学习合适的势函数。纹理系综也被引入，并与统计物理学中的微正则系综和正则系综相联系，证明了FRAME模型与朱勒斯系综在无限晶格上的等价性。 #### 2. 吉布斯扩散与反应方程（GRADE） 我们可以通过最大化吉布斯分布来设计偏微分方程（PDE），这等价于通过梯度下降最小化 $U(I; \theta, S)$。由此得到以下非线性抛物型偏微分方程： \[ \frac{d\mathbf{I}}{dt} = \sum_{i = 1}^{n_d} F_i^- * \phi_i' (F_i * \mathbf{I}) + \sum_{i = n_d + 1}^{n} F_i^- * \psi_i' (F_i * \mathbf{I}) \] 其中 $F_i^-(x, y) = -F_i(-x, -y)$。从输入图像 $I(x, y, t) = I$ 开始，第一项通过降低梯度来扩散图像，第二项由于反应力倾向于大的滤波器响应而形成图案。我们将此方程称为吉布斯扩散与反应方程（GRADE）。 ##### 2.1 GRADE的性质 - **一般统计框架**：GRADE可以被视为离散晶格上热扩散方程的扩展。通过定义向量场 $\vec{V} = (\phi_1'(\cdot), \cdots, \phi_{n_d}'(\cdot), \psi_{n_d + 1}'(\cdot), \cdots, \psi_n'(\cdot))$ 和散度算子 $div = F_1^- * + \cdots + F_n^- *$，方程可以写成 $\frac{d\mathbf{I}}{dt} = div(\vec{V})$。与仅在相邻像素之间传递“热量”的热扩散方程相比，GRADE在图的多个方向上传递“热量”，并且电导率被定义为局部图案的函数，而不仅仅是局部梯度。在离散晶格中，选择 $S_d = \nabla_x, \nabla_y$，$S_r = \varnothing$ 时，一些经典的方程是GRADE的特殊情况。 - **扩散**：图中展示的最佳拟合势函数，在 $\xi = 0$ 处可能有圆形尖端或尖点。现实世界中的物体通常具有尖点的势函数，因为大部分物体具有平坦的强度，鼓励形成分段恒定的区域。当 $\gamma < 1$ 且在位置 $(x, y)$ 处 $\xi = 0$ 时，$\phi'(0)$ 在由滤波器窗口 $F_i$ 指定的邻域 $\mathcal{N}_i(x, y)$ 中形成一个吸引盆。对于像素 $(u, v) \in \mathcal{N}_i(x, y)$，吸引盆的深度为 $|\omega F_i^-(u - x, v - y)|$。如果一个像素参与多个零滤波器响应，它将累积每个滤波器产生的吸引盆深度。除非来自其他明确定义项的驱动力的绝对值大于 $(u, v)$ 处吸引盆的总深度，否则 $I(u, v)$ 将保持不变。 - **反应**：另一类势函数是反应函数。反应函数的梯度将激活从原点“推开”，与扩散函数不同，这类势函数可以创建特征，并使像素脱离扩散函数设置的局部吸引盆。结合反应和扩散，我们可以采样各种纹理。从随机均匀噪声开始，我们使用受布朗运动启发的朗之万方程： \[ d\mathbf{I} = -\nabla U(