CINeMA: Conditional Implicit Neural Multi-Modal Atlas for a Spatio-Temporal Representation ofthe Pe-CSDN博客

这篇文章的核心内容是介绍了一个名为CINeMA（Conditional Implicit Neural Multi-Modal Atlas）的新型框架，用于创建高分辨率、时空多模态的大脑图谱，特别适用于围产期大脑的建模。以下是文章的主要研究内容总结：

1. 研究背景与动机

围产期大脑发育的重要性：围产期大脑的快速神经发育需要高空间和时间分辨率的图谱来研究。
现有方法的局限性：传统图谱构建方法依赖于大规模数据集，且缺乏对病理数据的适应性。基于深度学习的方法虽然有进展，但计算成本高、训练不稳定且对数据量需求大。
CINeMA的提出：为解决上述问题，CINeMA框架被提出，能够在低数据环境中高效生成时空多模态图谱。

2. CINeMA框架的核心特点

隐式神经表征（INR）：使用多层感知机（MLP）表示解剖结构，避免了传统方法中对图像配准的依赖，显著减少了图谱构建时间。
条件化能力：支持基于解剖特征（如胎龄、出生年龄、脑室扩张等）的条件化，能够生成特定条件下的图谱。
多模态支持：能够处理多种成像模态（如T1加权和T2加权MRI），并支持模态之间的翻译。
生成属性：通过潜在空间的插值和条件化，能够生成新的数据，支持数据增强和合成数据的创建。

3. 方法论

训练阶段：通过自解码器方法，将个体变异性编码到潜在代码中，同时学习共享的解剖特征。
推断阶段：通过时间回归的潜在代码生成特定时间点的图谱。
测试时适应：通过优化新受试者的潜在代码，将通用图谱适应到个体解剖结构上，支持下游任务如组织分割和年龄预测。

4. 实验与结果

数据集：使用了多个数据集，包括dHCP的新生儿和胎儿大脑MRI扫描，以及MarsFet数据集中的病理性胎儿数据。
性能评估：
- 分割准确性：CINeMA在所有数据集上均优于传统和基于深度学习的基线方法，特别是在病理性数据上表现突出。
- 年龄预测：CINeMA能够准确预测受试者的出生年龄和扫描年龄，优于其他方法。
- 生成能力：通过条件化和插值，CINeMA能够生成具有特定解剖特征的图谱，并支持多模态翻译。

5. 讨论与未来工作

拓扑正确性：尽管CINeMA在解剖结构的表示上表现出色，但确保皮层结构的拓扑正确性仍然是一个挑战。
跨受试者归一化：CINeMA支持将不同个体的解剖数据对齐到一个共同的参考空间，为群体分析提供了新的可能性。
扩展到其他模态：CINeMA能够自然地扩展到其他成像模态，如弥散加权成像和定量MRI。
潜在空间分析：CINeMA的潜在空间可以用于更广泛的应用，如疾病分类和异常检测。

CINeMA通过其高效、灵活和高分辨率的图谱生成能力，显著提升了围产期大脑研究的工具。它不仅适用于健康大脑的建模，还能有效处理病理性数据，为神经影像研究提供了强大的支持。这里是自己的论文阅读记录，感兴趣的话可以参考一下，如果需要阅读原文的话可以看这里，如下所示：

官方项目地址在这里，如下所示：

摘要

— 胎儿和新生儿大脑的磁共振成像揭示了快速的神经发育过程，其解剖结构在几天内发生显著变化。因此，研究这一人类大脑发育的关键阶段需要精确的大脑模型，即所谓的图谱，这些模型需要具备高空间和时间分辨率。为了满足这些需求，现有的传统图谱和最近提出的基于深度学习的方法都依赖于庞大且全面的数据集。然而，对于病理数据稀缺的大脑研究来说，这构成了一个重大挑战。我们通过提出CINeMA（条件隐式神经多模态图谱）框架来解决这一局限性，该框架能够在低数据环境中创建高分辨率的时空多模态大脑图谱。与现有方法不同，CINeMA在潜在空间中运行，避免了计算密集型的图像配准过程，并将图谱构建时间从几天缩短到几分钟。此外，它能够灵活地基于解剖特征进行条件化，包括胎龄（GA）、出生年龄以及诸如脑室扩张（VM）和胼胝体缺失（ACC）等病理特征。CINeMA支持下游任务，如组织分割和年龄预测，其生成属性还能够用于合成数据创建和基于解剖信息的数据增强。在准确性、效率和多功能性方面超越现有方法，CINeMA是推进大脑研究的强大工具。

关键词 — 条件图谱，围产期大脑成像，隐式神经表征，磁共振成像，分割

I. 引言

围产期大脑结构的时空分析对于理解正常和异常早期大脑发育至关重要。大脑图谱作为这一分析的重要工具，提供了先验的解剖知识，能够增强诸如分割、形状分析以及典型和非典型神经发育模式的表征等任务[1]–[7]。围产期大脑的快速神经发育，包括皮层折叠和生长，突显了在这一关键阶段捕捉解剖变化所需的详细、高分辨率图谱的需求。现有的公开数据集，如FeTA[8]和dHCP[9]，[10]，提供了数百个胎儿和新生儿大脑扫描图像，有助于构建用于研究早期健康大脑发育的图谱。尽管取得了这些进展，但包含异常发育的围产期大脑的全面数据集仍然稀缺。这给传统的图谱构建方法带来了挑战，这些方法依赖于大型、年龄平衡的数据集来生成无偏的时空大脑图谱。此外，这些方法缺乏条件属性，即适应额外因素（如性别或解剖异常，如脑室扩张）的能力，使它们无法表征病理生长模式。基于深度学习的图谱构建方法作为替代方案应运而生，利用空间变换器和生成对抗网络（GANs）[11]–[13]。这些方法声称可以基于特征（如胎龄、性别或病理）进行条件化；然而，它们在病理大脑或特定异常的应用上仍然有限。此外，它们计算密集型且常常不稳定的训练过程——例如，GAN可能会出现振荡或模式崩溃——以及对大型训练数据集的依赖，构成了显著的局限性。

A. 贡献

我们提出了CINeMA（条件隐式神经多模态图谱），这是CINA（条件隐式神经图谱）[14]的扩展框架，用于创建高分辨率的时空多模态大脑图谱。通过利用隐式神经表征（INRs），CINeMA提供了一个连续的、与分辨率无关的图谱，能够以最少的数据捕捉典型和病理解剖结构。与依赖于计算密集型变形场来解释个体变异性的现有方法不同，CINeMA通过自解码器设置将个体变异直接编码到个体特定的潜在代码中。这消除了对显式可变形配准的需求，将图谱构建时间从几天缩短到几分钟，同时构建的图谱在表示准确性方面优于现有基线。此外，CINeMA能够灵活地基于解剖特征进行条件化，包括胎龄和诸如脑室扩张（VM）和胼胝体缺失（ACC）等异常，同时支持下游任务，如组织分割和年龄预测。其生成属性能够用于合成数据创建和基于解剖信息的数据增强，这得益于其平滑且紧凑的潜在空间。基于CINA[14]的先前工作，本研究的扩展包括多模态整合、架构增强以提高图谱质量和准确性，以及涉及两个额外数据集的更广泛实验，包括一个专注于新生儿大脑的新领域。总结来说，CINeMA提供了：

一种高分辨率的时空多模态图谱，能够在几分钟而不是几天内生成，使用异构分辨率和模态的图像。
一种新颖的端到端框架，绕过了仿射和可变形配准，同时在专用潜在空间中捕捉解剖变异性。
在低数据环境中表现出色，成功地解决了现有方法失败的问题。
合成数据创建和基于解剖信息的数据增强。
一个多功能的条件化框架，用于建模典型和非典型神经发育，包括异常解剖特征，如扩大的侧脑室或缺乏胼胝体。

II. 相关工作

A. 传统图谱构建

首个基于MRI的概率解剖图谱使用仿射配准将图像对齐到由单一受试者定义的参考空间[15]–[17]。为了减轻对选定参考受试者的固有偏差，开发了群体配准技术，在图谱构建过程中应用迭代估计和更新参考空间[18]。早期的围产期大脑图谱利用了这些技术，其中值得注意的例子包括Habas等人的胎儿图谱[19]和Kuklisova-Murgasova等人的早产儿图谱[20]。这些图谱引入了时空设计以解释大脑解剖结构的快速演变，为预定义的胎龄间隔创建图谱。例如，胎儿图谱覆盖了20-25周胎龄，使用了20个受试者，而新生儿图谱跨越了29-44周胎龄，并利用了142名早产儿[20]。随后的进展引入了非刚性配准以增强解剖定义。Serag等人[6]使用年龄自适应核来加权受试者的贡献，生成更清晰的图谱。Makropoulos等人[21]后来利用420名新生儿构建了一个新生儿图谱，使用非刚性自由形变[22]将图像对齐到共同的参考空间。Gholipour等人[7]随后开发了一个81名健康胎儿的时空图谱，覆盖了21-37周胎龄。这些图谱提供了不同程度的脑组织分割，从更广泛的分类（如皮层和皮下区域）[6]到更详细的解剖结构，包括超过一百个区域[7]。然而，传统图谱构建方法面临重大挑战。例如，这些方法为预定义的离散时间点（通常是每周一个）创建静态图谱，需要为新时间点重新计算整个流程，这既耗时又低效[6]，[7]，[20]，[21]。此外，这些方法需要大量数据，因为它们缺乏利用整个数据集信息的能力，降低了它们的适应性和实际价值。例如，构建特定条件（如特定胎龄）的图谱需要足够数量的受试者以确保一般性表征。当引入额外条件时，例如侧脑室（LV）的体积，条件和胎龄就跨越了一个多维空间的组合。为了生成准确的图谱，传统方法因此需要随着条件数量的增加而呈指数级增长的数据集。因此，在围产期神经影像的低数据环境中，即使是建模两个条件也变得不可行。因此，这些图谱大多被限制为仅表征健康解剖结构，使它们无法捕捉病理或非典型生长模式。这些缺点突显了开发能够整合空间和时间维度并纳入解剖条件的数据高效方法的迫切需求。

B. 基于深度学习的图谱

随着深度学习方法的采用，图像配准取得了重大进展。早期工作如空间变换器网络（STN）[23]引入了空间变换的监督和无监督端到端学习框架。后续工作如VoxelMorph[24]和DLIR[25]利用编码器-解码器架构预测位移场，自动化配准过程，并传播分割任务的标签图。随着图像配准的成功，基于深度学习的图谱构建作为研究领域的前景广阔。结合传统图谱构建的概念与深度学习基于配准的工具，激发了许多新的方法，这些方法将训练队列配准到一个共同的参考空间以创建图谱[12]，[13]，[26]，[27]。通过联合学习配准和分割，进一步利用解剖形状先验来泛化异构数据集[13]，[27]。例如，Dalca等人[12]开发了一个框架，同时学习条件模板和变形场，提高了建模的灵活性。Dey等人[11]扩展了该框架，使用生成对抗网络（GANs），引入一个判别器来细化生成的模板。这些方法将时间维度建模为一个连续变量，比传统的离散方法提供了更大的灵活性。此外，它们还可以纳入额外的条件，例如侧脑室（LV）的体积。

尽管取得了这些进展，但深度学习方法仍面临挑战。它们通常需要大量的数据集才能实现稳健的泛化，需要大量的计算资源，并且在训练过程中可能面临稳定性问题，尤其是基于GAN的方法[11]。此外，现有的条件方法通常缺乏相应的脑组织图，需要额外的后处理步骤来进行分割[11]，[12]。这些限制突显了在低数据和病理场景中改进的持续需求。

C. 隐式神经表征用于图谱构建

隐式神经表征（INRs）为时空图谱构建提供了新的方向，通过多层感知机（MLPs）将数据表示为连续坐标函数[28]，[29]。与传统的体素方法不同，INRs提供了一个与分辨率无关的框架。条件架构通过引入潜在代码来增强灵活性，这些潜在代码可以与输入坐标连接[30]，线性投影到MLP层以调节[31]，[32]，或者通过超网络映射到网络权重[33]。自解码器技术迭代优化这些潜在代码，便于高效地建模时空变化。这些特性使INRs特别适合稀疏和异构数据集，填补了传统和基于深度学习的方法留下的空白。早期应用仅利用了这些属性的一部分。Chen等人[34]使用INRs来增强胎儿大脑图谱的空间和时间分辨率，而Großbröhmer等人[35]通过个体化的位移场来建模受试者变异性。然而，这些方法忽略了INR条件化，这对于建模病理解剖结构和解锁下游应用至关重要。Dannecker等人[14]引入了第一个条件隐式神经图谱（CINA），实现了连续的时空图谱构建，同时纳入了诸如脑室扩张（VM）等病理，并支持诸如组织分割和年龄预测等任务。通过CINeMA，我们扩展了这一框架，通过提高图谱质量、改善分割精度和整合多模态来实现。我们扩展的实验引入了两个新的数据集，用于早产儿和病理性胎儿数据，证明了CINeMA在准确建模早产儿和罕见胎儿异常（如脑室扩张和胼胝体缺失）方面的能力。

III. 方法论

CINeMA包括三个阶段：（图1-A）在代表性队列上进行训练，以学习手头解剖结构的一般表征。（图1-B）推断，即生成具有所需属性和特征的图谱。（C）在新受试者上进行测试时适应，以执行下游任务，如年龄预测或组织分割。以下各节从理论角度阐述这三个阶段。

A. 训练：表征学习

CINeMA的设计如图1所示，采用自解码器方法[30]，[32]，[36]，其中INR被建模为具有正弦激活函数的多层感知机（MLP），如[29]中所提出的。MLP的权重θ在所有训练数据中共享，迫使网络仅捕获一般性、共享特征。与使用可变形配准来解释个体间变异性的先前方法不同，我们将个体变异性编码到个体特定的参数中，称为潜在代码。

1）潜在代码：给定N个训练受试者，我们通过调节层将INR条件化在潜在代码{zi}N i=1上，遵循[14]，[31]，[32]中的方法。具体来说，为了调节INR的第h层，潜在代码z ∈ RD通过线性调节层转换为比例（α ∈ RL）和偏移（β ∈ RL）参数：

其中Wh ∈ RL×L和bh ∈ RL是INR第h层的权重和偏置，x是3D体素坐标，ω0是引入的缩放因子，以更好地建模高频信号[29]。与[32]不同，调节偏移β未被ω0缩放，因为潜在代码主要捕获大脑动态中的时间变化，强调低频特征以确保平滑的潜在表示。注意，尽管z是受试者特定的，但M、µ、W、b ∈ θ在所有训练数据中共享。按照[30]中的方法，训练集中的每个受试者都被分配了一个独特的潜在代码z，初始化为z ∼ N(0, 10−2)。空间潜在代码。我们发现，CINA[14]中使用的1D潜在代码限制了复杂解剖特征（如大脑皮层灰质）的空间表示。在这里，我们借鉴了Bauer等人[37]的发现，引入了空间潜在代码。我们将受试者的潜在代码扩展到z ∈ RD×X1×X2×X3，其中X1−3定义了潜在代码的空间维度，D定义了通道。为了获得特定坐标x ∈ R3处的潜在代码，我们使用三线性插值对z进行采样。尽管Bauer等人[37]建议使用卷积神经网络（CNNs），但我们发现三线性插值，如[38]中所述，提供了一个更稳定且计算效率更高的替代方案。第V-F节将更彻底地比较这两种方法。

2）受试者空间对齐：CINeMA旨在在MLP的共享权重中表征一般性、共同特征。与现有方法不同，现有方法将个体间变异性推入配准过程中的变形场，以实现清晰的表示，CINeMA将个体间变异性编码到个体特定的潜在代码中。为了避免编码无关的空间信息，我们为每个受试者i分配了一个可学习的刚性变换，包括旋转矩阵Rrot i ∈ SO(3)和平移向量ti ∈ R3。该变换应用于每个采样坐标x ∈ Xi ⊂ R3，其中Xi表示来自受试者i的体素位置集合，表示为：

Interp(zi, x)在潜在代码zi处对体素x进行三线性插值，ξ ∈ RQ表示显式条件参数（见第III-D节）。ˆIi(x)和ˆCi(x)分别表示受试者i的体素x处的（多模态）强度和组织标签的真实值，而fimg θ和fseg θ是INR预测的强度和组织概率。损失LMSE和LCE分别表示均方误差和交叉熵项。无需对zi进行显式正则化，因为训练过程自然强制执行紧凑表示。

B. 推断：图谱生成

经过训练后，INR已经学习了目标领域（即大脑）的一般表征，将个体间变异性推入了潜在代码{zi}N i=1中。对于围产期大脑，孕龄（PMA）是预期引起最大解剖变异性的因素，因此也被编码在潜在代码中。通过将第一个主成分与受试者的PMA进行对比，揭示了它们之间的高相关性，如图1-B所示。这种年龄编码允许我们为任何目标时间点t生成大脑图谱，使用时间回归的潜在代码zt定义为：

生成所有体素x ∈ X的图谱，其中X定义了我们感兴趣区域（即大脑）的3D笛卡尔网格，可以是任何期望的分辨率。zt(x)在(2)中定义，并将任何显式条件（例如侧脑室（LV）的体积）整合到图谱生成中。注意，由于我们仅执行前向传播，所有参数和权重在推断阶段保持不变。图2和图3展示了使用这种方法生成的时序图谱。前者展示了未条件化的新生儿图谱，而后者展示了基于LV体积的条件化。

C. 测试时：对新受试者的适应

为了利用图谱进行个体化分析，如大脑分割和个体间比较，有必要将通用图谱适应到新受试者的解剖结构上。虽然传统的基于图谱的方法采用可变形配准技术，但我们在冻结INR参数θ的同时，通过优化新初始化的潜在代码zj ∼ N(0, 10−2)以及零初始化的刚性对齐参数Rj来适应CINeMA到新受试者j，最小化：

其中ˆIi(X)表示受试者j的强度，z(x)由(2)定义。显式条件ξj ∈ RQ随机初始化为ξ ∼ N(0, 10−2)，并且也是可学习的。注意，我们仅在图像强度上进行优化，因此不需要分割图来进行测试时适应。为了避免过拟合，我们使用10%的受试者强度作为保留集，随机采样于大脑掩膜内，并监控损失以应用早期停止。从优化后的潜在代码zj中，我们可以通过前向传播（如(4)中定义的）推断出准确的组织概率图。此外，在多模态设置中，我们可以使用单一模态（例如T2加权MRI（T2w））来优化潜在代码，并在优化后推断出缺失的模态（例如T1w）。我们在第V-C节中更深入地研究了这一特性。最后，我们还可以利用在测试时适应期间优化的显式条件ξ，以获得有关受试者的额外见解。例如，第V-B.1节展示了从优化后的显式条件中准确预测早产儿的出生年龄。

D. 基于解剖特征的条件化

CINeMA将个体特定特征编码到个体潜在代码{zi}N i=1中，在训练期间学习将它们与共享特征分开。然而，在推断期间基于特定解剖特征进行条件化时，却面临着从其他编码特征中解耦这些特征的挑战。为了解决这一问题，我们在训练期间引入了额外的不相交维度ξ ∈ RQ，并将其连接到潜在代码z中。这种方法使得对离散和连续属性（例如出生年龄或解剖度量（例如胼胝体缺失或侧脑室体积））进行解耦条件化成为可能。经过训练后，CINeMA可以生成反映所需条件的时空图谱，同时支持在训练域内进行插值以及超出训练域的外推。在测试时适应期间，显式条件与潜在代码一起学习（见第III-C节），使得诸如出生年龄预测等下游任务成为可能（在第V-B.1节中进行了探讨）。

IV. 实验设置

A. 数据

1）新生儿大脑数据 - dHCP：足月新生儿。我们使用了来自304名足月出生的新生儿（37-45周PMA）的306次大脑MRI扫描，其中191次用于训练，38次用于验证，77次用于测试。成像包括T1加权和T2加权MRI，遵循[40]中描述的协议。所有受试者均具有放射学评分为1，表明“符合年龄的正常表现”[10]。所有扫描均提供了质量控制的分割组织图[40]，作为真实值。早产儿。为了基于出生年龄进行条件化，我们使用了来自144名早产儿的T1加权和T2加权MRI扫描，其出生年龄范围为25至42周PMA，扫描年龄范围为37至45周PMA。其中，52次扫描用于评估。受试者的放射学评分最高为3，表明“偶然发现，不太可能具有临床意义……”[10]。使用dHCP特定的流程[40]，[41]获得的质量检查组织分割作为真实值。

2）胎儿大脑数据 - dHCP：我们使用了来自272名受试者的296次胎儿大脑MR图像，分配201次用于训练，37次用于验证，58次用于测试。测试集中没有任何测试受试者出现在训练集中。胎龄范围为21至38周。详细的采集参数在[9]中描述。使用[41]中描述的SVR方法重建了各向同性分辨率为0.5 mm的超分辨率体积。每次扫描均包括质量控制的自动分割脑区组织图[40]，作为真实值。由于T1加权扫描的质量不足，仅使用了T2加权扫描。所有扫描均经过质量控制检查。

3）胎儿大脑数据 - MarsFet：MarsFet数据集由马赛Timone医院在2008年至2021年间的常规临床预约中获取的MRI数据构成。该研究获得了Aix-Marseille大学当地伦理委员会的批准（N°2022-04-14-003）。使用T2加权半傅里叶单次激发涡轮自旋回波（HASTE）序列在三台MRI西门子扫描仪（Skyra 3T、Magnetom Vida 3T和SymphonyTim 1.5T）上获取MRI。使用NesVOR v0.2方法[42]重建了各向同性分辨率为0.5 mm的超分辨率体积。通过与医学医生（N.G和M.M）的密切合作，确定了同质亚群。为了获得分割真实值，我们采用了两步方法，如[43]中所述：1）我们在50名最年轻的婴儿上训练了一个3D nnU-Net[44]，这些婴儿来自dHCP，且具有高质量的分割；2）我们在7个具有手动标记真实值的胎儿上对nnU-Net进行了微调。我们将nnU-Net应用于MarsFet数据集，由M.D.和A.M.对所有分割进行了视觉检查，并排除了低质量数据。由于nnU-Net是在健康数据上训练的，因此对于所有具有严重扩大的侧脑室的受试者，分割失败。因此，我们对5个胎儿的侧脑室进行了手动修正，作为VM评估的真实值。最终队列包括210名胎儿（22-38周）：139名对照组，51名患有孤立性脑室扩张（46名非严重，5名严重），20名患有孤立性完全胼胝体缺失（ACC）。

B. 基线

1）BD-Atlas（胎儿）[6]：4D胎儿大脑图谱（23-37周GA），基于80名胎儿的T2加权MRI构建。它采用自由形变[22]和自适应核进行年龄依赖的图谱构建，提供脑脊液（CSF）、皮层灰质（cGM）、侧脑室（LV）和大脑半球的组织概率图。

2）BD-Atlas（新生儿）[21]：基于420张MR图像的4D新生儿大脑图谱，提供脑脊液（CSF）、皮层灰质（cGM）、白质（WM）、侧脑室（LV）、小脑（CBM）、脑干（BS）和深灰质（dGM）的组织概率图。两个BD-Atlas均可在brain-development.org上公开获取。

3）Deepali[45]：一个开源的GPU加速配准库。按照[46]中的方法，使用群体配准，我们使用与CINeMA相同的训练数据构建了时序图谱，并在验证集上优化了超参数。

4）Atlas-GAN[11]：一个基于条件生成对抗网络的图谱，使用与CINeMA相同的训练数据进行训练。它需要对训练受试者进行仿射对齐，例如以仿射图谱作为参考。

C. 预处理

与现有方法不同，CINeMA旨在直接在原始数据上运行，需要的预处理最少，并且不需要用于初始对齐的先验图谱。所有受试者共享相同的朝向。受试者之间的错位保持未纠正，因为CINeMA在训练期间自动学习刚性对齐（见第III-A.2节）。我们对大脑强度进行掩膜、去颅骨处理，并将其归一化到[0, 1]。INRs的与分辨率无关的特性消除了重采样的需求，通过避免插值保留了图像细节。

D. 训练参数

在所有实验和数据集中，我们使用了在验证集上优化的同一组超参数。INR由5个隐藏层组成，每层有1024个单元，对第1、3和5层应用调节。潜在代码维度设置为256 × 3 × 3 × 3。INR的学习率lr设置为1e−4，潜在代码的学习率设置为5e−4，刚性受试者对齐R的学习率设置为7.5e−3。批量大小（即每轮迭代采样的坐标数量）设置为25,000。训练进行1轮，耗时约12分钟。随后的图谱推断需要约3秒。最后，在新受试者上进行测试时适应，通过优化潜在代码进行10轮迭代，每轮需要约5秒。实验在配备Nvidia A6000 GPU的设备上进行，内存需求约为10 GB（较小的批量大小将进一步降低内存需求）。

V. 实验与结果

A. 大脑分割

准确的大脑分割是神经影像分析中的关键步骤，它能够实现可靠的组织定量，并促进下游任务的开展，例如疾病诊断和发育分析。本节对CINeMA在健康和病理性受试者上的分割准确性进行了评估，并将其与传统和基于深度学习的图谱方法进行了对比。在围产期大脑的基于图谱的分割中，通常会选择一个合适的图谱（例如与年龄匹配），然后使用外部工具（如ANTs[3]）将其可变形地配准到目标受试者上。与之不同的是，CINeMA通过直接在受试者的图像强度上优化潜在代码（公式5），生成特定于受试者的组织概率图。优化完成后，可以通过单次前向传播（公式4）生成适应后的图谱及其分割图。这一过程消除了图谱选择的需要，并能够灵活地适应解剖变异性，这在胎儿和新生儿成像中尤其有价值，因为大脑的解剖结构变化迅速，且常常偏离标准模板。对于所有方法，我们评估了受试者与配准或适应后的图谱之间的图像相似性。分割准确性则通过多个组织类别进行评估：对于新生儿，包括脑脊液（CSF）、皮层灰质（cGM）、白质（WM）、侧脑室（LV）、小脑（CBM）、脑干（BS）和深灰质（dGM）；对于胎儿，包括脑脊液（CSF）、皮层灰质（cGM）、侧脑室（LV）和大脑半球。由于基线方法不支持多模态输入，因此所有实验（包括训练和测试）均仅使用T2加权MRI进行。我们在多个数据集上评估了性能，包括来自dHCP的健康新生儿和胎儿扫描，以及来自MarsFet数据集的健康和病理性胎儿扫描（严重脑室扩张）。所有实验结果如表1所示。CINeMA在所有数据集（包括新生儿和胎儿受试者）中均一致地显示出更高的图像相似性和更准确的组织分割。对于患有严重脑室扩张的胎儿病例，差异尤为显著。正如预期的那样，传统图谱（BDAtlas和Deepali）在适应异常解剖结构时遇到了困难（见图4）。基于深度学习的Atlas-GAN虽然在条件化侧脑室（LV）体积方面显示出改进的评分，但在完全捕捉异常解剖结构方面仍然不如CINeMA。需要注意的是，在上述实验中，CINeMA并未明确条件化侧脑室（LV）体积。解剖变异性，包括脑室扩张，是通过个体特定的潜在代码z隐式捕获的。通过明确条件化LV体积，我们并未在上述实验中观察到任何好处。该实验的主要目标是有效地从潜在空间中解耦特定的解剖属性。这种解耦使得我们能够生成专门模拟某种解剖结构、异常或病理的图谱，如在以下部分中所示。

表1：通过将测试受试者的T2加权MRI适应到图谱，评估大脑分割和个体年龄预测。我们评估了受试者与适应图谱之间的图像相似性（PSNR、SSIM）、投影分割图的分割准确性（DSC）以及预测扫描年龄的平均绝对误差（SA-MAE）。结果为受试者的平均值±标准差；最佳结果以粗体显示。

方法	PSNR↑	SSIM↑	DSC↑	SA-MAE↓
dHCP新生儿（足月）- 77名受试者
Atlas-GAN[11]	23.75* ± 0.88	0.75 ± 0.02	0.78 ± 0.01	N/A
BDAtlas[21]	19.55 ± 1.05	0.54 ± 0.12	0.71 ± 0.03	4.48 ± 1.40
Deepali[45]	17.88 ± 0.80	0.71 ± 0.01	0.79 ± 0.01	1.81 ± 1.49
CINeMA（我们的方法）	23.43 ± 0.55	0.82* ± 0.01	0.83* ± 0.03	0.96* ± 0.76
dHCP胎儿（神经发育正常）- 58名受试者
Atlas-GAN[11]	23.40 ± 2.15	0.84 ± 0.05	0.80 ± 0.06	N/A
BDAtlas[6]	16.83 ± 1.16	0.46 ± 0.11	0.71 ± 0.05	1.50 ± 1.22
Deepali[45]	15.69 ± 1.23	0.77 ± 0.05	0.83 ± 0.07	1.14 ± 0.73
CINeMA（我们的方法）	24.67* ± 2.25	0.88* ± 0.07	0.85 ± 0.08	0.88 ± 0.95
MarsFet（神经发育正常）- 22名受试者
Atlas-GAN[11]	20.40 ± 2.82	0.76 ± 0.06	0.78 ± 0.04	N/A
BDAtlas[6]	15.65 ± 1.97	0.45 ± 0.08	0.68 ± 0.04	1.55 ± 1.23
Deepali[45]	14.32 ± 1.58	0.57 ± 0.03	0.40 ± 0.02	0.95 ± 1.15
CINeMA（我们的方法）	24.38* ± 0.50	0.85* ± 0.02	0.83* ± 0.04	0.64* ± 0.71
MarsFet（严重脑室扩张）- 5名受试者
Atlas-GAN[11]	15.65 ± 3.15	0.64 ± 0.09	0.83† ± 0.05	N/A
BDAtlas[6]	11.69 ± 1.77	0.27 ± 0.07	0.33† ± 0.03	2.80 ± 2.14
Deepali[45]	11.23 ± 1.29	0.49 ± 0.04	0.20† ± 0.02	1.80 ± 1.33
CINeMA（我们的方法）	23.44* ± 0.70	0.83* ± 0.03	0.89†* ± 0.02	1.40 ± 1.20
*值显著优于第二好的结果（p < 0.05，配对t检验）。†仅侧脑室。

B. 异常人群的建模

在临床和发育神经影像学中，某些人群（如早产儿或患有结构性大脑异常的胎儿）的解剖结构与标准模式存在显著差异。建模这些偏差需要灵活且可解释的框架，能够明确地考虑已知的临床或生物学变量。本节评估了CINeMA在通过条件化相关变量来明确建模异常大脑人群方面的能力。我们在以下三种不同场景中进行了评估：（1）对于新生儿，出生时的孕龄（PMA）会影响早期大脑发育；（2）对于胎儿大脑，侧脑室（LV）体积是脑室扩张（VM）的关键生物标志物；（3）胎儿大脑的胼胝体缺失（ACC）是一种先天性条件，通过二进制标签捕获，即胼胝体的存在或完全缺失。我们按照第III-D节中描述的程序对每个场景进行了CINeMA训练。这些实验共同突显了该模型在沿连续和离散变化轴生成解剖学上连贯且在临床上有意义的图谱方面的容量。

1）建模出生年龄：出生时的孕龄对大脑发育有着强烈的影响，并且对不同脑区体积的影响也各不相同。先前的研究[47]表明，早产儿（出生时孕龄小于37周）的大脑发育与足月出生的婴儿相比存在受损情况。我们在dHCP数据集上对92名足月和早产儿（出生时孕龄为25至42周）进行了CINeMA训练，同时明确地对出生年龄进行条件化。训练完成后，我们生成了条件化出生年龄的时空图谱，如图5所示。对于较早的出生年龄，我们观察到总脑体积、皮层灰质（cGM）和白质（WM）组织体积的减少。相反，侧脑室（LV）的体积随着出生年龄的提前而增加。这些组织生长轨迹与文献[21]，[48]中报告的结果一致。此外，对52名足月和早产儿进行测试时适应，得出了1.51±0.16周的出生年龄预测平均绝对误差（MAE），这一结果与文献中报告的出生年龄预测结果相当。例如，文献[48]的作者报告了在相同数据集上的足月和早产儿的出生年龄预测准确率为2.21周MAE。

2）建模脑室扩张：为了充分地对胎儿大脑中的脑室扩张（VM）进行建模，我们发现对侧脑室（LV）体积进行条件化特别有效。尽管VM的诊断通常涉及脑室的宽度，但侧脑室体积与脑室扩张之间也存在很强的线性关系[49]。我们在MarsFet数据集上对46名患有不同程度VM和139名对照组胎儿进行了CINeMA训练。在训练期间，我们从相应的标签图中提取LV体积，通过总脑体积对其进行归一化，并将其重新缩放到[−1, 1]。接下来，我们将LV体积（用ξ表示）作为不相交的（即静态的）维度添加到受试者的潜在代码z中，如公式（2）中定义的。训练完成后，我们可以通过沿着显式维度ξ调节程度来生成任何期望的LV体积的时空图谱，如图1-B和图3所示。与Atlas-GAN不同，它在训练中很少或从未见过的GA和LV体积的组合上挣扎，CINeMA能够为这些情况生成高清晰度的大脑图谱。对LV和其他大脑解剖结构的独立表示使得在时间和LV体积维度上能够进行平滑的过渡，从而使CINeMA能够忠实地对年龄和LV进行建模，而无需直接的训练示例。第V-E.1和V-E.2节进一步验证了这一点，展示了在显式条件和潜在代码之间的平滑插值。值得注意的是，CINeMA还捕捉到了扩大的脑室与皮层折叠之间的复杂关系[50]，在固定年龄的情况下，随着LV体积的增加，折叠程度会降低（见图3-b）。补充材料中提供了图谱的详细视图。

3）建模胼胝体缺失：虽然LV体积代表了一个连续的条件，但我们也能够使用离散标签来进行解剖条件化。在这里，我们评估了对胼胝体（CC）存在的明确条件化。CC是连接两个大脑半球的主要纽带，由神经纤维（即白质）组成。CC的缺失代表了一种先天性疾病，称为胼胝体缺失（ACC）。为了对CC进行条件化，我们将明确条件化的域建模为−1（表示正常大脑，即存在CC）和1（表示完全ACC的大脑）。训练在MarsFet数据集上进行，包括20例完全ACC和65例正常大脑受试者，年龄范围为22至32周GA。训练完成后，CINeMA能够忠实地生成具有完全ACC的通用大脑、正常大脑以及介于两者之间的大脑，即在−1和1之间，代表类似CC发育不良的条件（见图6）。补充材料中提供了图谱的详细视图。

C. 多模态图谱

CINeMA支持单模态和多模态输入。本研究评估了T1加权和T2加权MRI扫描，但该方法并不限制使用的模态数量或类型。在训练期间，所有模态被连接成一个多通道图像。训练完成后，可以查询时空图谱的任何训练过的模态，如图2所示。多模态的表示增加了图谱的多功能性，但也提高了学习的表征。实际上，消融研究（见表2）表明，多模态引入了对扫描年龄预测的小幅改进，并显著提高了对足月和早产儿出生年龄的预测精度。此外，学习到的多模态表征为从一种模态到另一种模态的数据翻译开辟了有趣的可能性。

D. 额外的下游任务

我们评估了两个额外的下游任务：（1）模态翻译，以及（2）扫描年龄预测。

1）模态翻译：在多模态训练期间，CINeMA自动学习在图像模态之间进行翻译。因此，在测试时，我们可以在一种模态上优化新受试者的潜在代码z，以推断出在未见模态中的相应表征。如图7所示，这种翻译实现了高保真度，对于来自dHCP数据集（38-45周PMA）的20名足月新生儿，适应和翻译后的T1加权图像之间的平均相似性指标为25.31 ± 1.3 PSNR和0.90 ± 0.02 SSIM，T2加权图像为28.36 ± 2.48 PSNR和0.92 ± 0.02 SSIM。

2）扫描年龄预测：除了分割之外，CINeMA还通过分析优化后的潜在代码为测试受试者提供精确的年龄估计，使用邻域成分分析，并将训练受试者的潜在代码作为参考。由于所有基线方法均无法直接进行年龄估计，因此我们为每个基线采用线性回归模型，利用其图谱大脑体积作为参考点来拟合模型。表1突显了CINeMA在年龄预测方面的准确性，与所有基线方法相比，在所有实验中均具有一致的高准确率。在新生儿受试者中，这种改进尤为显著，因为在这个发育阶段，大脑生长速度减缓，大脑体积单独作为年龄预测指标的可靠性较低。需要注意的是，由于Atlas-GAN需要对训练受试者进行仿射预对齐，因此无法通过大脑体积进行年龄回归。

E. 生成属性

CINeMA将受试者属性编码到紧凑的潜在代码z中，从而能够在潜在代码之间进行插值，并生成新的数据。同样的道理也适用于明确条件化的属性，进一步扩展了其生成潜力。以下部分将详细探讨这一点。

1）特定解剖特征的调节：在训练期间进行明确条件化，确保了条件解剖结构与其他大脑结构之间的解耦。这使得不仅能够对图谱进行解剖特征的调节（见图3），还能够对个体受试者进行调节（见图8）。对于个体受试者，对LV体积进行条件化使得能够在不丢失个体解剖细节的情况下进行有控制的扩大或缩小。这表明CINeMA能够利用从其他训练受试者（可能具有不同的年龄）那里学到的信息来对条件解剖结构进行外推，而不会退化为通用的大脑表征。这种能力也可以作为基于解剖信息的数据增强。

2）潜在代码之间的插值：CINeMA将个体特定特征编码到潜在代码{zi}N i=1中，这些潜在代码形成了一个紧凑的潜在空间，具有平滑且连续的过渡。值得注意的是，从1D扩展到4D空间潜在代码，显著增加了个体特定参数，但保持了这种连续性，没有任何过拟合的迹象。这体现在生成时空图谱（见图2）所需的平滑插值以及在年龄差异较大的受试者潜在代码之间进行插值（见图9）时，能够产生具有无伪影过渡的逼真的解剖表征。

F. 消融研究

在本节中，我们评估了CINeMA相对于其前身CINA[14]的架构修改。这些包括多模态输入整合、从1D潜在代码z256扩展到空间潜在代码z256×33，以及引入可学习的刚性受试者对齐R。以下内容和表2详细说明了这些变化的影响。

1）多模态输入：与单模态T1加权MRI相比，加入多模态输入（T1加权和T2加权MRI）在骰子得分上显示出显著改进；与单模态T2加权MRI相比，在出生年龄预测方面表现出显著改进（见表2）。T2加权成像在新生儿成像中提供了优越的对比度和质量，这解释了加入T2加权成像与T1加权成像相结合所观察到的优势。

2）刚性受试者对齐：整合可学习的刚性受试者对齐R在所有指标上都显著提高了性能（见表2）。通过将受试者在空间中的位置编码到R而不是z中，CINeMA在训练期间保持了潜在代码之间的空间一致性。这不仅确保了更好的分割精度，还产生了更具信息量的潜在表征。

3）空间潜在代码：如表2所示，扩展到空间潜在代码z ∈ R256×33在骰子得分上比1D潜在代码z ∈ R256有显著提高。即使在潜在代码z ∈ R6912的参数数量与1D潜在代码匹配的情况下，空间代码的表现也优于1D潜在代码，这突显了空间代码在表示复杂解剖结构方面的容量。

4）潜在代码空间插值：在我们的实验中，我们采用了空间潜在代码，并通过三线性插值进行查询。将空间插值扩展到使用卷积层（如[37]中提出的）进行插值，并没有带来显著的改进，即使在将代码大小从3×3扩展到5×3时也是如此。相反，模型在出生年龄预测方面的表现显著下降。

5）明确条件化与隐式条件化：如第V-A节所述，明确条件化的主要目标是将特定的解剖特征从潜在空间中解耦出来。虽然第V-B节从定性角度展示了有效的解耦，但这也体现在通过优化条件变量来预测该变量的能力上。当适应新受试者时，潜在代码和条件变量都被随机初始化，并且联合优化。在收敛后，优化后的条件变量反映了CINeMA对该变量的估计。表2（最后一行）比较了使用明确条件化和隐式条件化进行出生年龄（BA）预测的准确性。在明确的情况下，BA直接从优化后的条件变量中推断出来。在隐式的情况下，BA是通过邻域成分分析估计的，类似于扫描年龄，如第V-D.2节所述。明确条件化实现了显著更高的准确性，表明对解剖特征的解耦更为有效。总之，这项消融研究表明，CINeMA的架构改进是有效的，支持将其整合到框架中，以在多个任务中实现改进的性能。

VI. 讨论

A. 潜在表征与条件化

共享与个体特征的解耦：CINeMA利用自解码器框架[30]–[32]，该框架本质上促进了共享解剖特征（编码在共享的INR参数θ中）与个体解剖变异（捕获在潜在代码z中）之间的解耦。通过这种设置，INR无法在不损害重建性能（即公式（1）中定义的优化目标）的情况下有效地编码个体变异。在一个极端情况下，如果没有潜在代码，INR将学习为所有受试者重建群体均值，无法重建任何个体特定的细节。尽管潜在代码z旨在捕获个体特定的变异，但理论上共享解剖信息可能会冗余地渗入z。我们通过调整z的维度来解决这一问题，平衡重建精度与下游任务（例如扫描年龄预测）的性能。正如消融研究（表2）所示，较小的潜在维度限制了空间表征，但有效地捕获了个体特定的特征，例如扫描年龄，而较大的维度则增强了空间精度，有利于诸如组织分割等任务。

明确与可学习的条件化：我们的实验表明，对已知临床因素（如出生年龄或LV体积）进行明确条件化，通过将这些因素从潜在代码z中分离出来，增强了可解释性。然而，到目前为止，这种分离并未严格强制执行，理论上允许网络忽略明确的条件。尽管我们在实验中并未遇到这种现象，但通过在测试时适应期间评估网络预测条件变量的能力，有助于了解网络对条件变量的捕获程度。此外，明确定义的条件变量可能会限制灵活性和表征能力。一个有希望的扩展方向是采用多任务学习框架，在该框架中，条件表征与辅助任务（如年龄预测或异常分类）联合学习。这将允许条件从数据本身中出现，减少对预定义标签的依赖，并提高泛化能力。尽管这种方法增加了模型复杂性，并且需要更大、标注良好的数据集，但它代表了未来工作的一个有价值的方向——特别是在大规模人群研究中。

尽管如此，这种基于数据的条件化方法在实际应用中仍面临一些挑战。首先，大规模且高质量标注的数据集获取难度较大，尤其是在医学影像领域，数据的标注往往需要专业的医学知识和大量的时间成本。其次，多任务学习框架的训练和优化过程更加复杂，需要平衡不同任务之间的权重，以确保模型在各个任务上都能取得良好的性能。此外，模型的解释性和可解释性也可能会受到影响，因为条件化过程不再依赖于明确的临床指标，而是从数据中自动学习得到的隐式特征。

空间潜在代码与空间变换： 引入空间潜在代码，并通过三线性插值进行查询，显著增强了CINeMA对复杂解剖结构的表示能力。然而，实验表明，更复杂的空间插值方法（如卷积神经网络）在这种特定设置中并未带来显著的性能提升。这可能是因为当前数据集的规模和复杂性尚不足以充分利用这些高级方法的优势。未来，在处理更高分辨率或更大规模的数据集时，例如在成人队列中，探索卷积神经网络或基于注意力机制的插值方法可能会带来进一步的改进。此外，空间变换网络（STNs）为更好地在训练和推断过程中建模非刚性空间变换提供了一个有前景的途径。尽管将STNs整合到CINeMA中可能会带来一些挑战，尤其是在如何将空间变换与潜在代码解耦方面，但它们有望在解剖结构多样或高度异常的受试者中实现更好的对齐效果。因此，STNs是未来工作的一个有前景的方向。最后，当前在图谱推断过程中使用的固定高斯核进行潜在代码回归可能并不适用于高度不平衡的数据集，这些数据集具有非均匀分布。采用自适应核回归方法（如[6]中所述）可能会进一步提高图谱的准确性。

拓扑正确性： 尽管CINeMA在建模大脑组织体积增长轨迹和皮层折叠方面表现出色，但确保皮层结构的拓扑准确性仍然是一个挑战，当前工作中无法保证这一点。未来的研究应着重于整合拓扑保持损失函数，例如通过基于补丁的正则化项，或者将皮层表面图作为额外的输入模态，以明确增强拓扑正确性。

B. 未来应用

跨受试者归一化： 跨受试者归一化——将不同个体的解剖数据对齐到一个共同的参考空间，以便进行群体水平分析——是图谱方法的另一个应用。尽管本研究中未明确评估这一点，但CINeMA通过传统和混合策略支持这一功能。可以从队列均值生成一个参考图谱用于配准。此外，对于解剖结构异常的受试者（例如严重脑室扩张），可以通过迭代插值受试者的潜在代码向正常均值靠近（类似于图9），同时在插值步骤之间估计流场。这使得能够从异常到正常解剖结构（或反之）生成平滑的微分同胚变形轨迹。最终，CINeMA旨在直接在潜在空间中实现群体分析，其中解剖变异性被紧凑地编码，并且可以定量评估或映射回图像空间。这将归一化范式从图像空间中的空间变形转变为潜在空间中的表征对齐，为未来的基于图谱的研究提供了一个灵活且强大的基础。

扩展到其他模态： 我们的框架自然地超越了T1加权和T2加权MRI，能够容纳各种成像模态，包括皮层表面图或4D数据，如弥散加权成像[51]或定量MRI。处理这些模态仅涉及添加额外的输入通道（例如弥散方向或回波时间），这使得能够在不改变框架结构的情况下进行联合建模。可以为特定领域添加可选的约束（例如T2*的指数衰减），以正则化学习。尽管计算成本会增加，但扩展是直接的，这为未来的工作提供了一个有希望的方向。

扩展潜在空间分析： 未来的工作还可以进一步探索CINeMA的潜在空间，它在更广泛的应用中具有潜力，例如疾病分类或异常检测。

VII. 结论

CINeMA在时空大脑图谱生成方面取得了显著进展，解决了传统方法和基于深度学习的方法固有的局限性。通过利用隐式神经表征，CINeMA实现了对典型和病理性神经发育模式的高效、灵活且高分辨率的建模。其紧凑的潜在空间、明确的条件化能力和生成合成数据的潜力，显著增强了其在神经影像研究中的实用性。此外，CINeMA作为一个开箱即用的框架，对预处理需求极小，无需先验图谱或外部配准程序，能够在几分钟内而不是几小时或几天内构建图谱。尽管在拓扑准确性和自适应核策略方面仍有待进一步改进，但CINeMA已经在解剖保真度和表示准确性方面优于现有基线，使其非常适合广泛的临床和研究应用。