寸先生的AI道路

对比之前的几种mamba，针对糖尿病视网膜病变数据集，采用同样的训练参数：300 Epochs，32 Batch Size。这里我只是在增加了一层Residual Block提取，验证集最好的ACC是96.53%如果继续优化层的设置，应该会有更好的提升，这里就不继续做了。

这个实现的就是分类模型，我对原文中图像和源码进行了一定的标注，方便理解，论文中针对的3D图像，我这里按照2D的简单写，不影响理解。对照源码和图像可以发现，源码中是每组3个Res-Mamba块，每组的输出进行了分辨率维度的池化，然后拼接reshape后送入mamba，图中还有一个池化拼接后的特征和经过mamba的特征加和的操作图中没有体现。这个类似SENET中的SE分支计算加权系数，贴了一个SENet中的图，实现的就是下面红框部分。对应的是论文中的下图，但不知道是不是我下载的论文版本不对，感觉这个图有问题。

后面可以看到代码实现也是按照N/2写的。

Mamba模型代码实现及理解

论文提出 3D 医学图像分割Mamba模型，与基于 Transformer 的方法相比，SegMamba 在状态空间模型的整个体积特征建模方面表现出色，体积特征的分辨率为 64×64×64。在BraTS2023数据集上进行验证。图片已经画得很清楚，都是基本块组成，只是将transformer块中的CNN换成了mamba块。在BraTS2023 数据集实验效果。

HIPPO指定了一类特定的矩阵。

如果一个状态空间模型（SSM）由。

给定。

Chapter 3 Computing Structured SSMsGu A. Modeling Sequences with Structured State Spaces[D]. Stanford University, 2023.本文是MAMBA作者的博士毕业论文，为了理清楚MAMBA专门花时间拜读这篇长达330页的博士论文，由于知识水平有限，只能尽自己所能概述记录，并适当补充一些相关数学背景，欢迎探讨与批评指正。内容多，分章节更新以免凌乱。第3章讨论了结构化状态空间模型（SSM），特别是S

离散化后的SSM被定义为一个序列到序列的映射。

这篇文档的摘要介绍了在机器学习领域的显著进步，特别是在序列模型方面，这些模型对深度学习在各种科学应用中的成功至关重要。尽管目前的方法取得了成功，但它们在处理复杂的序列数据（如涉及长期依赖性的数据）时存在限制，例如需要大量的特定任务专业化、计算效率低下等问题。为了解决这些问题，论文介绍了一种使用状态空间模型的新方法。这些模型灵活、理论基础扎实、计算效率高，并且在多种数据类型和应用中表现出色。它们扩展了标准深度序列模型（如循环神经网络和卷积神经网络）的功能。

在四个不同的任务上进行了广泛的实验：CT和MR图像中的3D腹部器官分割、内窥镜图像中的器械分割以及显微镜图像中的细胞分割。将CNN的局部特征提取能力与状态空间序列模型（SSM）的长程依赖性能力相结合。U-Mamba采用了一个编码器-解码器（encoder-decoder）的网络结构，这种结构能够同时捕获局部特征和长程上下文。​ U-Mamba块的核心是结合了卷积层和SSM的混合块。本文对Mamba结构用于图像领域进行了简单的探索，就结构来说没有特别多创新，就是插入了Mamba块，但可以遇见下一个坑的到来。