【论文笔记】Efficient multi‐scale 3D CNN with fully connected CRF for accurate brain lesion segmentation

最新推荐文章于 2024-11-27 20:28:12 发布

1000110011111101010100101111101

最新推荐文章于 2024-11-27 20:28:12 发布

阅读量2k

点赞数 3

CC 4.0 BY-SA版权

分类专栏：论文笔记文章标签：卷积算法计算机视觉神经网络深度学习

本文链接：https://blog.csdn.net/qq_44055705/article/details/115034770

【论文笔记】Efficient multi‐scale 3D CNN with fully connected CRF for accurate brain lesion segmentation

文章题目：Efficient multi‐scale 3D CNN with fully connected CRF for accurate brain lesion segmentation
作者：Konstantinos Kamnitsas , Christian Ledig , Virginia F.J. Newcombe, Joanna P. Simpson , Andrew D. Kane , David K. Menon , Daniel Rueckert , Ben Glocker
关键词：3D convolutional neural network; Fully connected CRF ;Segmentation ;Brain lesions ;Deep learning
时间：2017
来源：Medical Image Analysis
paper：https://arxiv.org/pdf/1603.05959.pdf
code：https://biomedia.doc.ic.ac.uk/software/deepmedic/ ，https://github.com/deepmedic/deepmedic
引用：Kamnitsas, K., Ledig, C., Newcombe, V. F. J., Simpson, J. P., Kane, A. D., Menon, D. K., Rueckert, D., & Glocker, B. (2017). Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation. Medical Image Analysis, 36, 61–78. https://doi.org/10.1016/j.media.2016.10.004

感性认识

研究的基本问题
在3D医学影像数据（脑部），分割脑损伤病变。
是一个基于3D数据的语义分割。使用的基本方法是3D全卷积网络。
现有问题
3D数据+3D全卷积，内存与计算开销受到极大限制，训练速度与效果难以保障。
数据过于庞大，无法一次性全部读入，感受野（可利用的全局信息）受到了限制。
网络的深度受到了限制。
数据是不平衡的，病变面积小，背景体积大。
CNN的结果是软分类，需要进行硬标签的划分。
主要想法

针对训练问题，使用全卷积 + 密集训练策略。全卷积代替全连接，输入一个Patch，一次性可以输出一个区域的结果，使用这一区域的损失的平均作为最终损失。密集训练策略是全图像感受野与最后一个FM一个像素的感受野之间的折中，最后一层感受野是17，整张图像是100，则密集训练采集的Patch大小在17之上，就可以输出一个小区域的结果。
密集训练时，搭配有Patch提取策略，利用这一策略可以解决数据类别不平衡的问题。具体抽样策略是：以50%的概率分别以病变体素和背景体素为中心采集。
网络深度增加会由计算负担与过拟合风险。使用小卷积核加速卷积，减少计算量，从而能够加深网络（保持相同的感受野）。采用特定的初始化方法与加入BN层解决深度网络中训练出现的问题。
无法将整张图象用于训练，限制了模型学习全局信息（体素的上下文信息）的能力。设置双通路解决这个问题，一个通路是常规的局部patch的卷积通路，另一个通路将图像下采样得到范围更大的低分辨率图像，用于提取全局信息（上下文信息）。最后两个通路会和（保证各体素位置对应，总大小对应），输入到全连接层（1* 1 *1的全卷积）后得到输出。
在CNN后加入一个3维的全连接条件随机场，进行硬分割。

结果与结论
在三个数据集上验证，取得SOTA。
发现了一些过程特征，对于医学信息的提取和CNN特征学习的解释有所帮助。
不足与展望

模型具有很好的适应性，但是应用在不同任务上，CRF与参数需要重新调整。设想让CRF变为网络，使用神经网络，进行端到端的训练。
融合更多的领率先验知识，指导性能。
数据的异构性，不同设备的产出图像差异很大。设想在数据上加前处理操作，构建一个数据生成模型。
因为医学数据的严肃性，模型的可解释性是个问题。

理性认识

abstract

We propose a dual pathway, 11-layers deep, three-dimensional Convolutional Neural Network for the challenging task of brain lesion segmentation. The devised architecture is the result of an in-depth anal- ysis of the limitations of current networks proposed for similar applications. To overcome the computational burden of processing 3D medical scans, we have devised an efficient and effective dense training scheme which joins the processing of adjacent image patches into one pass through the network while automatically adapting to the inherent class imbalance present in the data. Further, we analyze the development of deeper, thus more discriminative 3D CNNs. In order to incorporate both local and larger contextual information, we employ a dual pathway architecture that processes the input images at multiple scales simultaneously. For post-processing of the network’s soft segmentation, we use a 3D fully connected Conditional Random Field which effectively removes false positives. Our pipeline is extensively evaluated on three challenging tasks of lesion segmentation in multi-channel MRI patient data with trau matic brain injuries, brain tumours, and ischemic stroke. We improve on the state-of-the-art for all three applications, with top ranking performance on the public benchmarks BRATS 2015 and ISLES 2015. Our method is computationally efficient, which allows its adoption in a variety of research and clinical settings. The source code of our implementation is made publicly available.

摘要

我们提出了一种双通路(dual pathway)、11层深度、三维卷积神经网络用于脑损伤分割(brain lesion segmentation)这一挑战性任务。设计的体系结构是深入分析目前针对这类问题而提出的网络的局限性之后提出的。为了克服处理三维医学扫描的计算负担，我们设计了一种有效且高效的密集训练方案，该方案将相邻图像块的处理融入到一次网络流程(one pass through the network)中，同时自动适应数据中固有的类别不平衡。在此基础上，我们进一步分析了更深层3D CNN的发展，从而使其更具判别力。为了整合局部和更大的上下文信息，我们采用了一种双路径架构，在多个尺度上同时处理输入图像。对于网络软分割(soft segmentation)的后处理，我们使用了三维全连接条件随机场，有效地消除了假阳性(false positives)。我们的流程在三个病变分割中具有挑战性的任务上进行了广泛评估，分别是创伤性脑损伤、脑肿瘤和缺血性中风的多通道MRI患者数据。我们提高了所有三个应用上的最先进水平(state-of-the-art)，在BRATS 2015和ISLES 2015公共基准上的表现排名第一。我们的方法在计算上是高效的，这允许它在各种研究和临床环境中被采用。源代码是公开的。

1. Introduction

医学图像中病变的分割和随后的定量评估为神经病理学的分析提供了有价值的信息，对治疗策略的规划、疾病进展的监测和患者预后的预测都很重要。为了更好地了解疾病的病理生理学，定量成像可以揭示疾病的特征和对特定解剖结构的影响。例如，创伤性脑损伤(TBI)后，带有急性和慢性后遗症，不同类型的损伤、其空间分布和范围之间的关系仍不清楚。然而，越来越多的证据表明，病变负荷(Lesion burden)的量化会增加对患者功能性预后的了解。此外，损伤的确切位置与特定的缺陷有关，这取决于受影响的大脑结构。这与中风引起的功能缺陷与大脑特定部位损伤程度有关的估计是一致的。病变负荷通常通过病变，已被证明与认知缺陷有关生物标志物的体积和数量来量化。例如，白质病变体积(WML)与认知能力下降和痴呆风险增加相关。在多发性硬化(MS)的临床研究中，病变数量和体积被用来分析疾病进展和药物治疗的有效性。最后，在脑肿瘤的病例中，精确的病理描述是很重要的，因为对肿瘤子成分的相对体积的估计是放疗计划和后续治疗所必需的。病变的定量分析需要在多模态、三维图像中准确分割病变，这是一项具有挑战性的任务。病变外观的异质性，包括在位置、大小、形状和频率上的巨大差异，使设计有效的分割规则变得困难。因此，在TBI或脑肿瘤的亚成分如增殖细胞和坏死核心中描绘挫伤、水肿和出血的轮廓是很有意义的。可以说，最精确的分割结果可以通过由人类专家人工描绘获得，但这繁琐，昂贵，耗时，且在大型研究中不实用，还会引入观察者之间的差异。此外，为了确定特定区域是否属于病变的一部分，需要对比多个不同的图像序列，而专家知识和经验水平是影响分割精度的重要因素。因此，在临床环境中，通常只使用定性的、目视的检查，或者最多粗略的测量，如近似的病变体积和病变的数量。为了捕捉和更好地理解大脑病理的复杂性，进行多实验对象的大型研究是很重要的，以获得在整个患者群体中得出具有统计意义的结论。因此，发展准确、自动分割算法已成为医学图像计算的主要研究重点，有可能提供客观、可再现、可扩展的方法来定量评估脑损伤。
图1展示了设计病变自动分割方法时出现的一些挑战。该图总结了统计数据，展示了脑损伤中可能是其他病理如脑肿瘤和缺血性中风的例子。病变可以发生在多个部位，具有不同形状和大小，其图像强度轮廓很大程度上与未受影响的、健康的大脑部分或不是关注焦点的病变重叠。例如，stroke和MS病变在FLAIR序列中具有与其他脑白质病变相似的高强度表征。通常很难获得有关病变形状和外观的先验统计信息。另一方面，在一些应用场景中，对分割标签的空间配置有所要求，例如，在脑肿瘤中有子组件的分层布局。理想情况下，计算方法能够通过学习一组示例图像来调整自己以适应应用场景的特定特征。

1.1 Related work 相关工作

在过去的十年中，大量的病变自动分割方法被提出，主要分为几大类。
其中一组方法提出将病变分割任务作为异常检测问题，例如通过使用图像配准(image registration)。
一些最成功的、有监督的脑损伤分割方法是基于体素分类器的，如随机森林。
与此同时，深度学习技术已经成为监督学习的强大替代品，具有强大的模型容量和为当前任务学习高度判别特征的能力。这些特征通常比手工提取和预先定义的特性集性能更好。特别是卷积神经网络(CNNs)已经在多种生物医学成像问题上得到了很有前景的结果。
基于2维CNN：From the CNN based work that followed, related to our approach are the methods of Zikic et al. (2014) ; Havaei et al. (2015) ; Pereira et al. (2015) , with the latter being the best performing automatic approach in the BRATS 2015 chal- lenge ( Menze et al., 2015 ).
全3D cnn(Fully 3D CNNs)具有更多的参数和显著的内存与计算需求。以前的工作讨论了在医学成像数据上使用3D CNN时存在的问题和明显的限制。为了整合3D上下文信息，多个作品在三个正交的2D补丁上使用2D cnn。在结构大脑分割的工作中，Brebisson和Montana(2015)从图像的多个尺度中提取了大的2D patches，并将其与小的单尺度3D patches相结合，以避免全3D网络的内存需求。
阻碍3D cnn使用的原因之一是:3D卷积高昂的计算成本，导致推断速度较慢。与2D/3D混合变体相比，3D cnn可以充分利用密集推断(dense-inference)，这是一种大大减少推理时间的技术，我们将在2.1节中进一步讨论。Brosch等人(2015)和Urban等人(2014)报告，通过使用3D cnn的密集推理，处理一次大脑扫描的计算时间分别为几秒和大约一分钟。尽管他们开发的网络的规模有限(这是一个直接与网络表征能力相关的因素)，但他们分别在MS和脑瘤分割方面的结果非常有前途。
训练样本提取策略对cnn的性能有显著影响。一种常用的方法是从每个类中同等采样的图像块上进行训练。然而，这将使分类器偏向于罕见的类，并可能导致过度分割。

1.2 Contributions 贡献

我们提出了一种基于11层深度、多尺度、3D CNN的全自动多模态脑MRI病变分割方法，主要贡献如下：

我们提出了一种高效的混合训练方案，利用密集训练(Long et al.， 2015)对采样图像分割，并分析其在适应当前分割问题中的类别不平衡的行为。
我们深入分析了更深层、更具分辨力、计算效率更高的3D cnn的发展。我们探索了小内核的使用，这是一种以前在2D网络中发现的有益的设计方法(Simonyan和Zisserman, 2014)，它对3D cnn的影响更大，并提出了能够训练更深层次网络的解决方案。
我们采用并行卷积路径进行多尺度处理，有效地结合了局部信息和上下文信息，极大地提高了分割结果。
我们展示了我们的系统的通用性，在没有重大修改的情况下，在各种具有挑战性的分割任务上，该系统的性能超过了最先进的水平，在两个MICCAI挑战、ISLES和BRATS中名列前茅。

此外，对该网络的详细分析揭示了对cnn深度学习的强大黑匣子的宝贵见解。例如，我们发现我们的网络能够学习非常复杂的、高层次的特征，能分离灰质(GM)、脑脊液(CSF)和其他解剖结构，以识别病变对应的图像区域。
此外，我们将全连接条件随机场(CRF)模型扩展到3D，我们将其用于CNN的软分割图的最终后处理。该CRF克服了以往模型的局限性，因为它可以处理任意大的邻域，同时保持快速推理时间。据我们所知，这是第一次在医疗数据上使用完全连接的CRF。