Attention Is Not What You Need: Revisiting Multi-Instance Learning for Whole Slide Image Classificat

总结

现有基于注意力的多实例学习（MIL）算法的问题：

现有的基于注意力的 MIL 算法在全幻灯片图像（WSI）分类任务中可能关注不相关的模式，如染色条件和组织形态，导致不可靠的补丁级预测和可解释性。
这些算法倾向于专注于显著实例，难以识别难以分类的实例（如肿瘤与正常细胞相似的区域），从而降低了在医学诊断中的准确性和可解释性。

提出新的方法——FocusMIL：

提出了一个名为 FocusMIL 的简单而有效的基于实例的 MIL 方法，旨在遵循标准的 MIL 假设并避免依赖注意力机制。
使用最大池化和前向摊销变分推理，使模型专注于肿瘤形态，而不是虚假相关性，从而提高模型的分类能力和可靠性。

理论分析和实验验证：

理论上分析了注意力机制在 WSI 分类中的缺陷，强调其不能保证基于肿瘤形态的准确预测。
实验评估表明，FocusMIL 在 Camelyon16 和 TCGA-NSCLC 基准测试中，在补丁级分类任务上显著优于现有基线方法，并且在幻灯片级别上具有竞争力。
提出并使用了一个标准 MIL 测试数据集来检验现有方法是否符合标准的 MIL 假设，结果显示基于注意力的算法在存在强虚假相关性时可能失败。

关键点和创新之处：

最大池化： 确保模型遵循MIL假设，即如果一个包（即一个幻灯片）中至少有一个实例（即一个补丁）是正的，那么整个包就被认为是正的。
前向摊销变分推理： 鼓励模型学习到一个具有良好生成能力的潜在表示，从而提高模型的泛化能力。
小批量梯度下降： 通过同时处理多个幻灯片，提高模型对不同类型肿瘤的识别能力。

Abstract

尽管基于注意力的多实例学习算法在幻灯片级全幻灯片图像 (whole slide image，WSI) 分类任务中取得了令人印象深刻的表现，但它们容易错误地关注不相关的模式，例如染色条件和组织形态，导致不正确的补丁级预测和不可靠的可解释性。此外，这些基于注意力的 MIL（Multi-Instance Learning）算法往往专注于显着实例，难以识别难以分类的实例。在本文中，我们首先证明基于注意力的 WSI 分类方法不遵守标准的 MIL 假设。在标准 MIL 假设中，我们提出了一种基于最大池化和前向摊销变分推理的 WSI 分类 (FocusMIL) 的令人惊讶的简单而有效的基于实例的 MIL 方法。我们认为，使用变分推理合成标准 MIL 假设鼓励模型专注于肿瘤形态而不是虚假相关性。我们的实验评估表明，FocusMIL 在 Camelyon16 和 TCGA-NSCLC 基准上显着优于补丁级分类任务的基线。可视化结果表明，我们的方法还实现了更好的分类边界来识别硬实例，并减轻了包和标签之间的虚假相关性的影响。

1 Introduction

全幻灯片图像 (WSI) 分析已广泛应用于计算机辅助诊断和预后等临床应用（Lu et al. 2021; Yao et al. 2020; Chen et al. 2021; Li, Li, and Eliceiri 2021）。由于单个WSI通常包含数十亿个像素，获得补丁级注释是劳动密集型的(Lu et al. 2021)，因此将WSI裁剪成更小的补丁并使用多实例学习(MIL)进行分类是一种标准做法。多实例学习 (MIL) 是一种弱监督学习范式，旨在从表示为实例（补丁）包（幻灯片）的样本中学习。由于计算机辅助诊断模型需要提供肿瘤组织的幻灯片级和补丁级预测，MIL特别适合。（Li、Li 和 Eliceiri 2021；Qu 等人 2022）。

大多数现有的基于 MIL 的 WSI 分类算法都专注于幻灯片级别的预测，并利用注意力 (Vaswani et al. 2017) 将补丁级表示聚合到幻灯片级别（Ilse、Tomczak 和 Welling 2018; Li、Li 和 Eliceiri 2021；Shao 等人。 2021; Qu et al. 2022a, 2023; Tang et al. 2023, 2024; Kum et al. 2024）。一般来说，这些算法利用注意力机制为包内的每个实例分配权重，并聚合它们的加权表示进行分类。然而，许多基于注意力的 MIL 方法偏离了标准的 MIL 假设，这可能会限制它们在医学诊断中的可解释性和可信度（Raff 和 Holt 2023）。

标准 MIL 假设指出，当且仅当其至少一个实例为正时，多实例包为正（Foulds 和 Frank 2010；Dietterich、Lathrop 和 Lozano-P ́erez 1997），这自然与 WSI 分类的目标一致：当且仅当幻灯片包含至少一个癌变补丁时，幻灯片应该被标记为癌变。不幸的是，基于注意力的 MIL 算法不会提出额外的约束来强制聚合注意力权重时的标准 MIL 假设。因此，这些模型有时可以将非因果或不相关的实例