基于卷积神经网络的多地标定位与弱监督病变定位方法

# 基于卷积神经网络的多地标定位与弱监督病变定位方法 ## 1. 多地标定位的卷积神经网络方法 ### 1.1 基于CNN的热图回归 在多地标定位任务中，采用CNN框架直接从输入图像回归热图。将热图 $H_i$ 表示为高斯分布位于地标 $L_i$ 位置的图像。给定一组输入图像和对应的目标热图，设计了不同的全卷积网络架构，这些架构能够通过让卷积滤波器核覆盖大图像区域来捕捉地标之间的空间关系。训练CNN架构后，最终地标坐标通过预测热图的最大响应获得。 ### 1.2 不同的CNN架构 - **Downsampling - Net**：该架构使用交替的卷积层和池化层。由于涉及下采样，它能够用小核尺寸覆盖大图像区域。但由于目标热图分辨率低，定位精度较差。 - **ConvOnly - Net**：为克服目标分辨率低的问题，该架构既不使用池化层也不使用步幅卷积层。因此，为观察与Downsampling - Net相同的区域，需要更大的核，这大大增加了需要优化的网络权重数量。 - **U - Net**：该架构对原有的进行了微调，在收缩路径中用平均池化代替最大池化，在扩展路径中使用固定的线性上采样核，从而获得完全对称的架构。由于收缩和扩展路径，该网络能够用小核尺寸把握大图像区域，同时保持高精度。 - **SpatialConfiguration - Net**：这是一种新颖的三模块架构，将地标的局部外观与所有其他地标的空间配置相结合。 - 第一个模块由三个小核尺寸的卷积层组成，为每个地标 $L_i$ 生成局部外观热图 $H_{app}^i$。 - 空间配置模块根据外观模块估计的所有其他地标的位置来预测每个地标的位置。将热图 $H_{app}^j$ 与卷积核 $K_{i,j}$ 卷积得到变换后的热图 $H_{trans}^{i,j}$，即 $H_{trans}^{i,j}=H_{app}^j * K_{i,j}$。 - 对所有变换后的热图 $H_{trans}^{i,j}$ 进行累加得到累加热图 $H_{acc}^i=\sum_{j = 1}^{n}H_{trans}^{i,j}$。 - 最终热图 $H_i = H_{app}^i \odot H_{acc}^i$，其中 $\odot$ 表示逐元素相乘，这样可以抑制由于地标空间配置而不可行的局部外观预测位置。 ### 1.3 实验设置与结果 #### 1.3.1 实验材料 - **2D手部X射线数据集**：包含895张公开可用的手部X射线图像，平均尺寸为 $1563×2169$，由不同的X射线扫描仪获取。由专家手动标注了37个特征地标，如指尖或骨关节。 - **3D手部MR数据集**：包含60个T1加权的3D梯度回波手部MR扫描，平均体积大小为 $294 × 512 × 72$，体素分辨率为 $0.45 × 0.45 × 0.9$ $mm^3$，标注了28个地标。 #### 1.3.2 实验设置 - **数据预处理**： - 2D手部X射线图像由于由不同扫描仪获取，强度变化大，进行直方图均衡化调整强度值，减去平均强度并将标准差设为1。 - 3D数据仅减去均值。 - **数据增强**：为每个图像创建9个额外的合成图像，通过旋转（最多30°）、平移（最多1 cm）和强度缩放/偏移（最多10%差异，仅用于2D）。 - **热图创建**：在地标位置中心设置高斯分布创建热图，归一化到最大值为1，$\sigma$ 根据热图大小从1.5到3变化。 - **网络调优**：调整每个网络架构的核大小、层数和输出数量。所有网络由标准层组成，如卷积、池化（平均）、拼接、加法、乘法和固定反卷积（线性上采样）。 #### 1.3.3 实验结果 | Set | Method | Image height | | Localization error (in mm) | | #Outliers > 10 mm | #w | | --- | --- | --- | --- | --- | --- | --- | --- | | | | I