计算机视觉中的概率图模型基础与核心概念

### 计算机视觉中的概率图模型基础与核心概念 #### 1. 概率图模型概述 概率图模型（PGM）学习和推理通常是NP难问题。不过，通过挖掘PGM中蕴含的条件独立性，可以引入高效的精确和近似推理及学习方法，以处理大规模模型。PGM主要分为有向和无向两类，后续将详细探讨它们的学习和推理方法，涵盖精确和近似方法。 #### 2. 基础概率知识 ##### 2.1 随机变量与概率 - **符号定义**：用大写字母表示随机变量（如X），对应的小写字母表示其实现值（如x）。粗体大写字母表示随机向量（如X），粗体小写字母表示随机向量的值（如x）。 - **随机变量类型**： - **离散随机变量**：又可分为分类和整数随机变量。分类随机变量的值空间是有限的类别集合；整数随机变量的值空间包含所有可能的整数值（包括零）。 - **连续随机变量**：其值空间为一定范围内的连续实数值。 - **概率定义**： - 对于离散随机变量，用p(X = x)（或简记为p(x)）表示X取x值的概率，满足0 ≤ p(x) ≤ 1，且所有可能值的概率之和为1。 - 对于连续随机变量，计算X落在区间A的概率p(X ∈ A)，通过概率密度函数（pdf）fx(x)积分得到，即$p(X \in A) = \int_{A} f_x(x)dx$，且$\int_{X} f_x(x)dx = 1$。离散随机变量的pdf可定义为$f_x(x) = \sum_{x_k \in X} p(x_k)\delta(x - x_k)$。 ##### 2.2 基本概率规则 - **条件概率**：给定两个随机变量X和Y，X给定Y的条件概率定义为$p(X|Y) = \frac{p(X,Y)}{p(Y)}$。 - **乘积规则**：由条件概率定义可推出$p(X,Y) = p(X|Y)p(Y)$，表明联合概率可表示为条件概率和边缘概率的乘积。 - **链式规则**：将乘积规则推广到N个随机变量，$p(X_1,X_2,\cdots,X_N) = p(X_1)p(X_2|X_1)p(X_3|X_1,X_2)\cdots p(X_N|X_1,X_2,\cdots,X_{N - 1})$，还可扩展为条件链式规则。 - **求和规则**：对于离散随机变量，可通过对联合分布关于Y求和得到X的边缘分布$p(X) = \sum_{y} p(X,Y = y)$，连续随机变量则用积分代替求和。该规则可用于计算边缘概率和边缘条件概率。 - **条件概率规则**：结合求和规则和乘积规则得到，$p(X) = \sum_{y} p(X|y)p(y)$，可进一步扩展到边缘条件概率。 - **贝叶斯规则**：$p(X|Y) = \frac{p(X)p(Y|X)}{p(Y)}$，其中p(X)是X的先验概率，p(Y|X)是X的似然，p(Y)是证据的概率，是归一化常数。 以下是这些规则的关系流程图： ```mermaid graph LR A[条件概率] --> B[乘积规则] B --> C[链式规则] B --> D[求和规则] D --> E[条件概率规则] E --> F[贝叶斯规则] ``` ##### 2.3 独立性与条件独立性 - **边缘独立性**：用X ⊥ Y表示两个随机变量边缘独立，此时$p(X,Y) = p(X)p(Y)$，且$p(X|Y) = p(X)$，即知道Y不影响X的概率。对于N个相互独立的随机变量，$p(X_1,X_2,\cdots,X_N) = \prod_{n = 1}^{N} p(X_n)$。 - **条件独立性**：用X ⊥ Y | Z表示X和Y在给定Z的条件下独立，此时$p(X,Y|Z) = p(X|Z)p(Y|Z)$，且$p(X|Y,Z) = p(X|Z)$。条件独立性比边缘独立性更弱且更宽松，二者不等价。 - **独立性与互斥性区别**：两个变量互斥意味着一个存在则另一个不存在，即p(X,Y) = 0；而独立意味着$p(X,Y) = p(X)p(Y)$，互斥性意味着变量间存在负相关。 ##### 2.4 均值、协方差、相关性与独立性 - **均值**：随机变量X的均值（期望）定义为其期望值，离散随机变量的均值为$\mu_X = E_{p(x)}(X) = \sum_{x \in X} x p_x(x)$，连续随机变量的均值为$\mu_X = E_{p(x)}(X) = \int_{x \in X} x f_x(x)dx$。实际中，均值常通过样本平均近似。 - **方差**：随机变量X的方差$Var(X)$（常记为$\sigma_X^2$）定义为$E[(X - E(X))^2] = E(X^2) - E^2(X)$，衡量值与均值的期望平方偏差。 - **协方差**：两个随机变量X和Y的协方差$Var(X, Y)$（记为$\sigma_{XY}$）定义为$E_{p(x,y)}[(X - E(X))(Y - E(Y))] = E_{p(x,y)}(XY) - E(X)E(Y)$。 - **相关性**：X和Y的相关性$Cor(X,Y)$（记为$\rho_{XY}$）定义为$\frac{E_{p(x,y)}[(X - E(X))(Y - E(Y))]}{\sqrt{Var(X)Var(Y)}} = \frac{\sigma_{XY}}{\sigma_X\sigma_Y}$。若X和Y不相关（$\rho_{XY} = 0$），则$\sigma_{XY} = 0$，$E(XY) = E(X)E(Y)$。独立的随机变量一定不相关，但不相关的变量不一定独立，不过两个联合正态分布的随机变量不相关则独立。 - **条件均值和方差**：离散随机变量X给定Y的条件均值为$E_{p(x|y)}(X|y) = \sum_{x} x p(x|y)$，条件方差为$Var(X|y) = E_{p(x|y)}[(X - E(X|y))^2]$，二者都是y的函数。 - **随机向量**：随机向量X的均值是各元素均值组成的向量，方差由协方差矩阵定义，对角线元素衡量各元素的方差，非对角线元素捕捉元素对之间的协方差。 |统计量|定义| | ---- | ---- | |均值|离散：$\mu_X = \sum_{x \in X} x p_x(x)$；连续：$\mu_X = \int_{x \in X} x f_x(x)dx$| |方差|$Var(X) = E[(X - E(X))^2] = E(X^2) - E^2(X)$| |协方差|$Var(X, Y) = E_{p(x,y)}[(X - E(X))(Y - E(Y))] = E_{p(x,y)}(XY) - E(X)E(Y)$| |相关性|$\rho_{XY} = \frac{\sigma_{XY}}{\sigma_X\sigma_Y}$| ##### 2.5 概率不等式 - **期望不等式**： - **詹森不等式**：对于凹函数φ，$\varphi(E(X)) \geq E(\varphi(X))$，给出了期望函数的下界；对于凸函数，$\varphi(E(X)) \leq E(\varphi(X))$，给出了均值函数的上界。在PGM中，常用对数函数构造下界。 - **柯西 - 施瓦茨不等式**：对于有有限方差的两个随机变量X和Y，$E(|XY|) \leq \sqrt{E(X^2)E(Y^2)}$，可用于关联协方差和方差。当X和Y均值为零时，其协方差小于各自标准差的乘积，相关性小于等于1。 - **概率不等式**： - **马尔可夫不等式**：对于非负随机变量X和任意t > 0，$p(X \geq t) \leq \frac{E(X)}{t}$。 #### 3. 概率图模型在计算机视觉中的应用思路 概率图模型（PGM）在计算机视觉领域有着广泛的应用前景，其核心在于通过对随机变量之间的概率关系进行建模，来解决各种视觉任务中的不确定性问题。下面将从几个方面探讨PGM在计算机视觉中的应用思路。 ##### 3.1 图像降噪与分割 - **图像降噪**：在图像获取过程中，常常会引入噪声，影响图像的质量。PGM可以通过对图像像素之间的关系进行建模，利用条件独立性假设，将图像的联合概率分布进行分解。例如，可以将图像看作是一个马尔可夫随机场（MRF），其中每个像素的取值只依赖于其邻域像素。具体操作步骤如下： 1. **定义随机变量**：将每个像素看作一个随机变量，其取值表示像素的灰度值或颜色值。 2. **构建模型结构**：根据图像的邻域关系，构建MRF的图结构，确定变量之间的依赖关系。 3. **学习模型参数**：使用训练数据，通过最大似然估计等方法学习模型的参数。 4. **进行降噪推理**：在给定有噪声的图像后，利用学习到的模型进行推理，通过最大后验概率（MAP）估计等方法，得到降噪后的图像。 - **图像分割**：图像分割是将图像划分为不同的区域，每个区域具有相似的特征。PGM可以通过对图像的区域标签进行建模，考虑区域之间的空间关系和像素的特征信息。操作步骤如下： 1. **定义随机变量**：除了像素的特征变量外，引入区域标签变量，表示每个像素所属的区域。 2. **构建模型结构**：根据图像的空间结构和区域之间的关系，构建图模型，例如条件随机场（CRF）。 3. **学习模型参数**：使用标注好的训练数据，学习模型的参数，包括区域的先验概率和像素与区域之间的条件概率。 4. **进行分割推理**：在给定待分割图像后，通过推理算法，如信念传播算法，得到每个像素的区域标签，完成图像分割。 以下是图像降噪和分割的流程对比表格： |任务|定义随机变量|构建模型结构|学习模型参数|进行推理| | ---- | ---- | ---- | ---- | ---- | |图像降噪|像素灰度/颜色值|MRF图结构|最大似然估计|MAP估计| |图像分割|像素特征、区域标签|CRF图结构|标注数据学习|信念传播算法| ##### 3.2 目标检测、识别与跟踪 - **目标检测**：目标检测是在图像中找出特定目标的位置和类别。PGM可以通过对目标的外观、位置和上下文信息进行建模，提高检测的准确性。操作步骤如下： 1. **定义随机变量**：包括目标的位置、类别和图像的特征变量。 2. **构建模型结构**：可以使用有向图模型，如贝叶斯网络（BN），表示变量之间的因果关系。 3. **学习模型参数**：使用大量的标注数据，学习模型的参数，包括目标的先验概率和条件概率。 4. **进行检测推理**：在给定图像后，通过推理算法，如变量消元法，找出目标的位置和类别。 - **目标识别**：目标识别是确定图像中目标的具体类别。PGM可以结合目标的特征和先验知识，进行分类决策。操作步骤与目标检测类似，但更侧重于对目标类别的判断。 - **目标跟踪**：目标跟踪是在视频序列中持续跟踪目标的位置。PGM可以通过对目标的运动状态和外观变化进行建模，处理目标的遮挡和变形等问题。操作步骤如下： 1. **定义随机变量**：包括目标的位置、速度和外观特征等变量。 2. **构建模型结构**：使用动态贝叶斯网络（DBN），考虑目标在不同时间步的状态变化。 3. **学习模型参数**：使用视频序列的训练数据，学习模型的参数，包括状态转移概率和观测概率。 4. **进行跟踪推理**：在给定视频帧后，通过推理算法，如粒子滤波算法，估计目标的当前位置。 以下是目标检测、识别和跟踪的流程mermaid流程图： ```mermaid graph LR A[定义随机变量] --> B[构建模型结构] B --> C[学习模型参数] C --> D[进行推理] D1[目标检测推理] D2[目标识别推理] D3[目标跟踪推理] D --> D1 D --> D2 D --> D3 ``` ##### 3.3 三维重建与高级视觉任务 - **三维重建**：三维重建是从二维图像中恢复物体的三维结构。PGM可以通过对图像的特征点、相机参数和物体的三维结构进行建模，考虑多个视图之间的一致性。操作步骤如下： 1. **定义随机变量**：包括图像特征点的位置、相机的内参和外参、物体的三维坐标等变量。 2. **构建模型结构**：使用无向图模型，如MRF，对变量之间的关系进行建模。 3. **学习模型参数**：使用多个视角的图像数据，通过优化算法，如束调整算法，学习模型的参数。 4. **进行重建推理**：在给定多个图像后，通过推理算法，如图割算法，得到物体的三维结构。 - **高级视觉任务**：高级视觉任务如面部表情识别和人类活动识别，涉及到对复杂的视觉信息和语义信息的处理。PGM可以通过对人体的姿态、表情特征和上下文信息进行建模，提高任务的准确性。操作步骤如下： 1. **定义随机变量**：包括人体的关节位置、表情特征和活动类别等变量。 2. **构建模型结构**：根据任务的特点，构建合适的PGM结构，如层次化的贝叶斯网络。 3. **学习模型参数**：使用大量的标注数据，学习模型的参数。 4. **进行任务推理**：在给定图像或视频后，通过推理算法，得到任务的结果。 #### 4. 总结 概率图模型为计算机视觉领域提供了一种强大的工具，通过对随机变量之间的概率关系进行建模，能够有效地处理各种视觉任务中的不确定性问题。从基础的概率知识，如随机变量、概率规则、独立性等，到PGM的学习和推理方法，再到在计算机视觉中的具体应用，每个环节都紧密相连。在实际应用中，需要根据具体的任务需求，选择合适的PGM结构和推理算法，通过学习和优化模型参数，提高任务的性能。同时，随着计算机技术的不断发展，PGM在计算机视觉中的应用也将不断拓展和深化，为解决更复杂的视觉问题提供有力的支持。