【每天一篇深度学习论文】超轻量级的多核U形网络UltraLightUNet

论文介绍

题目：

UltraLightUNet: Rethinking U-Shaped Network with Multi-Kernel Lightweight Convolutions for Medical Image Segmentation

论文地址：

链接: https://openreview.net/pdf?id=BefqqrgdZ1

创新点

论文提出一种超轻量级的多核U形网络UltraLightUNet，用于医学图像分割，通过引入多核倒残差(MKIR)和多焦点注意力机制(MKIRA)提高特征编码和细化能力，在多个医学图像分割基准测试中超越SOTA，特别是在DICE评分上超越了TransUNet，同时参数量和计算复杂度分别减少了333倍和123倍。

• 引入了一种新的多核倒残差模块 (MKIR)，通过多种核尺寸的深度卷积实现高效的特征提取。
• 结合卷积多焦点注意力机制 (CMFA)，MKIRA模块在解码阶段对特征进行精细化处理。通过聚焦关键通道和空间区域，增强显著特征，实现更精确的重建和分割，特别在复杂场景中提升了特征辨识和表现能力。

方法

模型总体架构

UltraLightUNet是一种为医学图像分割设计的超轻量级网络，它采用了U形结构，结合了编码器和解码器。在编码器部分，该模型使用了多核反向残差（MKIR）块来提取特征，这些块能够通过多个核大小高效处理图像并捕获复杂的空间关系。在解码器部分，模型使用了多核反向残差注意力（MKIRA）块来精细化和强调图像中的关键特征，这通过复杂的卷积多焦点注意力机制实现。UltraLightUNet通过在编码器中策略性地使用MKIR块和在解码器中使用MKIRA块，确保了在每个阶段都能增强目标特征。

多核反向残差（MKIR）块

• 多核反向残差（MKIR）块是UltraLightUNet中的核心模块之一，它用于在网络的编码器阶段提取特征。MKIR块的创新之处在于它能够使用多个不同大小的卷积核（或称为内核）来处理图像数据。这种设计使得网络能够同时捕捉到图像中的细微特征和更广泛的上下文信息，从而实现对输入图像更全面的表示。
• 在MKIR块内部，首先通过点卷积（point-wise convolution）扩展通道数量，然后应用批归一化（batch normalization）和ReLU6激活函数。接下来，使用多核深度卷积（MKDC）来捕获特定的空间上下文，这一步骤是MKIR块的关键，因为它允许网络通过不同大小的卷积核来适应不同的特征尺度。最后，再次使用点卷积和批归一化将通道数量恢复到原始数量，从而完成特征的提取和精炼。
• MKIR块的设计显著降低了计算成本，同时确保了丰富的特征表示，这对于医学图像分割任务来说是至关重要的，因为它需要在保持模型轻量级的同时，不牺牲对图像细节的捕捉能力。通过这种方式，MKIR块为UltraLightUNet提供了一个高效的特征提取机制，使其在资源受限的环境中也能实现高精度的分割。

消融实验

• 消融实验的结果表明，UltraLightUNet模型中集成的不同组件，如多核反向残差（MKIR）、分组注意力门（GAG）和多核反向残差注意力（MKIRA）块，对于提高分割精度至关重要。特别是，MKIR块在编码器中通过多核策略有效地提取特征，而MKIRA块在解码器中增强了特征的精细化和关键区域的突出。实验发现，结合这些组件的完整UltraLightUNet模型在多个医学图像分割数据集上实现了最佳的性能，与仅使用UNeXt模型相比，DICE分数有了显著提升。
  
• 此外，多核策略在不同的卷积核组合中也显示出其有效性，其中1×1、3×3和5×5的核组合在提高分割精度的同时，仅增加了适度的计算资源。这些消融实验验证了UltraLightUNet设计选择的有效性，并展示了其在保持计算效率的同时实现高精度分割的能力。