胃肠病学训练中学习隐窝模式概念

### 胃肠病学训练中学习隐窝模式概念 #### 1. 动机 近年来，基于计算机的系统在利用内窥镜成像指导结直肠息肉的体内评估方面有了大量研究。这一研究的动力源于结直肠癌的高发性及其高死亡率，在美国，结直肠癌是最常被诊断出的三种癌症之一。根据腺瘤 - 癌序列的概念，结直肠癌主要由腺瘤性息肉发展而来，但腺瘤并非一定会癌变。实际上，切除结直肠腺瘤可降低结直肠癌的发病率。在这种情况下，图像分析的最终目标是区分肿瘤性和非肿瘤性病变。 早期计算机辅助尊严评估方法基于传统白光内窥镜的视觉数据，而现在研究已转向新型成像模式，如窄带成像（NBI）、高倍染色内窥镜检查（HMCE）和基于探头的共聚焦激光内镜显微镜检查。这些新型成像模式给胃肠病学家解读图像带来了挑战，为避免严重错误，医生需要对特定成像模式和突出的组织结构有丰富经验。 为了让未来的胃肠病学家适应新型成像模式的临床实践，我们需要解决两个问题：一是获取来自预期成像模式的标注图像数据库，二是能够浏览描绘特定结构教科书描述的图像。在没有计算机视觉系统的情况下，经验丰富的胃肠病学家需要从大量图像库中筛选出最相关的训练示例。我们基于语义图像检索的最新进展，提出了一个计算机视觉解决方案，将图像映射到图像概念的语义空间。 #### 2. 学习隐窝模式概念 我们的方法从一个内窥镜图像数据库 \(D = \{I_1, \ldots, I_{|D|}\}\) 和一组概念 \(\{w_1, \ldots, w_C\}\)（即隐窝模式类型）开始。每个数据库图像都配有一个二进制标题向量 \(c_y \in \{0, 1\}^C\)，其中 \(c_{j_y} = 1\) 表示第 \(j\) 个概念存在于图像 \(I_y\) 中，这是一个弱标注的图像集。 ##### 2.1 视觉和语义层面的图像表示 学习图像概念的第一阶段与之前的研究类似，数据库中的每个图像 \(I\) 由一组局部特征 \(I = \{x_1, \ldots, x_N\}\) 表示，这些特征独立地从某个特征空间 \(X \subset \mathbb{R}^d\) 中的随机向量 \(X\) 中抽取。 定义随机变量 \(Y\)（取值范围为 \(\{1, \ldots, |D|\}\)），当特征从图像 \(I_y\) 中抽取时 \(Y = y\)，则图像 \(I\) 在视觉层面的概率为： \[P_{X|Y}(I|y) = \prod_{j = 1}^{N} P_{X|Y}(x_j|y)\] 图像 \(I_y\) 的密度 \(P_{X|Y}(x|y)\) 通过一个 \(K_V\) 分量的多元高斯混合模型估计： \[P_{X|Y}(x|y) = \sum_{k = 1}^{K_V} \gamma_{k_y} G(x; \mu_{k_y}, \Sigma_{k_y})\]，其中 \(\sum_{k} \gamma_{k_y} = 1\) 引入随机变量 \(W\)（取值范围为 \(\{1, \ldots, C\}\)），当特征从概念 \(w_i\) 中抽取时 \(W = i\)，这会在 \(X\) 上产生一组新的概率密度 \(\{P_{X|W}(x|w_i)\}_{i = 1}^{C}\)，这些密度被称为语义层面的特征表示。假设特征在给定概念成员资格的条件