利用卷积神经网络特征的掩码区域实现牙科全景图像中牙齿的检测、分割和编号

### 利用卷积神经网络特征的掩码区域实现牙科全景图像中牙齿的检测、分割和编号 #### 1. 引言 随着图形处理单元（GPU）提升了计算能力，深度学习已成为一种新兴的机器学习工具。它在计算机视觉、语音识别和自然语言处理等人工智能问题上取得了最先进的成果。与传统机器学习算法（如支持向量机、提升算法、决策树等）需要手动设计特定信息（如图像梯度方向或局部二值模式）的特征不同，深度学习方法可以从原始输入数据中自动学习图像表示和特征。卷积神经网络（CNN）就是一种深度学习方法，能从图像中以多层次抽象的方式学习分层特征，通常训练深度网络需要大量图像作为输入，以更好地学习表示。 在生物医学领域，深度学习也被应用于医学图像处理、计算机辅助诊断（CAD）、图像融合、图像配准、图像分割、图像引导治疗以及图像检索和分析等方面。然而，使用深度学习处理医学图像的主要缺点是需要大量标注良好且具有代表性样本的数据库进行训练。获取医疗数据具有挑战性，研究需要获得批准并从相关部门获得合法许可。数据增强和迁移学习等技术被用于通过生成数据和预训练神经网络来解决数据缺失的问题。 牙科领域是重要的医学成像领域之一，口腔和颌面放射学在正畸、法医学以及牙科治疗（如龋齿修复或植入物）中起着重要作用。为了构建牙科图像的CAD系统，牙齿的定位、编号和分割是牙科分析的初始步骤。3D牙科计算机断层扫描（CT）和X射线是口腔和颌面放射学的两种主要成像技术。CT常用于牙科植入手术、牙齿阻生、鼻窦检查和气道评估。X射线牙科成像主要分为口内（根尖和咬翼）和口外（头颅测量和全景X射线）两种类型。口内图像显示口腔特定区域上下牙齿的细节，包含少量孤立的牙齿；口外X射线用于检测颌骨和颅骨的牙科问题，全景X射线图像能在一张图像上显示整个口腔的上下颌。 牙齿的定位、标记和分割对于自动化牙科分析任务（如CAD或根管治疗规划）至关重要。全景牙科图像被牙医和口腔外科医生用于假牙、牙套、拔牙和植入物的治疗。然而，从全景图像中自动检测和编号牙齿比口内图像更具挑战性，因为全景X射线将3D牙科结构投影到2D图像上，在投影过程中，牙齿可能相互遮挡，牙齿之间的间隙可能消失，这使得从全景图像中检测和分割牙齿变得更加困难。 在本研究中，我们提出使用一种深度学习方法——具有卷积神经网络特征的掩码区域（RCNN），以同时在全景X射线图像中检测、分割和标记每颗牙齿。通过掩码RCNN确定分割后的牙齿及其边界框和分类标签，并在后续处理算法后给出最终的牙齿标签。我们在一个包含1500张图像的公共数据集的部分数据上对该方法进行了测试和验证，该数据集是已知最大的牙科全景图像数据集。由于该数据集没有每颗牙齿的单独标签，因此由专家对其中478张图像进行重新标注，以确定每颗牙齿的标签和边界框。我们使用200张全景牙科图像对该方法进行训练，并在278张全景图像上进行测试。 #### 2. 相关工作 在文献中，有许多关于牙科图像分析的研究，包括牙齿修复、分割、检测、编号、正畸治疗、法医学中的人类识别以及骨质疏松症等方面。早期的自动化牙科X光片分析研究主要用于法医学，旨在通过比较死后和生前的牙科X光片来识别死者。自动化牙科识别系统（ADIS）项目就是为了从口内X射线图像中识别人而提出的。以往的许多研究使用图像处理和机器学习技术来识别牙齿。 近年来，自2016年以来，深度学习在牙科分析中得到了应用。这些研究可以根据牙科图像类型分为口内、CT和全景X射线三类。 口内X射线图像（根尖和咬翼X光片）包含少量牙齿的详细结构信息，牙齿之间有间隙，因此从口内图像中检测牙齿非常普遍。Eun等人提出了一种根据根尖牙科图像积分投影的局部最小值检测牙齿分离线的方法，并使用CNN将候选牙齿区域分类为牙齿或非牙齿，该方法在100张根尖图像上进行评估，平均最佳重叠率为0.71像素。Zhang等人提出了一种通过级联三个不同CNN的标签树方法用于根尖X光片，第一个CNN将窗口分类为背景或牙齿，第二个CNN将第一个CNN的输出分类为上或下，最后一个CNN将第二个CNN的输出从1到8标记为牙齿标签，该方法在200张图像上进行评估，最终CNN的精度为0.80，他们还提出了一个牙齿细化模块，使用牙齿之间的顺序和距离，使用细化模块后的精度为0.95。Chen等人提出使用更快的RCNN检测根尖胶片中的牙齿，并使用基于规则的模块对检测到的牙齿进行编号，该方法的交并比（IoU）为91%，牙医手动标注的数据集的精度和召回率均为0.99，该研究还表明深度学习的表现接近牙医。 牙科CT包含口腔中整个牙齿的3D图像。Miki等人在手动获取感兴趣区域（ROI）后，使用具有AlexNet架构的CNN对锥形束CT图像中的每颗牙齿进行分类，他们在52个受试者的3D体积上评估了该方法，将牙齿分为七类，数据增强后的准确率为88.8%，他们还在不提供任何ROI的情况下实现了自动化方法，平均检测率为77.4%，每张图像有5.8个误报。Hatvani等人提出使用CNN提高2D锥形束计算机断层扫描（CBCT）牙科图像的分辨率，他们使用子像素网络和U-net进行分辨率增强，深度学习比基于重建的最先进的超分辨率方法产生了更好的结果。U-net架构被用于牙科咬翼X光片的分割，使用U-net将像素分为七类（龋齿、牙釉质、牙本质、牙髓、牙冠、修复体和根管治疗），用于龋齿检测和牙科解剖分析，在包含120张咬翼图像的数据集上进行评估，数据增强后的Dice相似度指标为0.56。 全景2D X射线图像显示整个口腔，包括牙齿、上下颌、周围结构和组织。尽管有一些基于机器学习