多尺度Mamba具备强大全局建模、高效计算性能、良好可扩展性及多尺度特征融合能力,在复杂序列数据处理中表现相当好。
在各大顶会中,多尺度Mamba也是很受欢迎的选题。比如收录于医图顶会 MICCAI的基于多尺度融合的Mamba架构Deform-Mamba,实现了SOTA性能!还有NeurIPS 2024上的多尺度视觉MSVMamba,兼顾效率与性能,适配各种模型配置,具有极高适应性和可扩展性!
另外还有超低参数量和内存,但性能依然优越的MUSE...可以说优秀成果相当多了,强烈建议想发论文的同学研读。本文整理了
11种
多尺度Mamba最新的成果
,方便有需求的同学快速了解这方向的前沿技术,找到灵感,代码已附。
扫码添加小享,
回复“
多尺度曼巴
”
免费获取
全部论文+开源代码
Deform-Mamba Network for MRI Super-Resolution
方法:
本文介绍了一种基于多尺度融合的Mamba架构,名为Deform-Mamba,用于MRI图像超分辨率重建。其核心思想是通过结合多尺度的局部和全局特征来提升MRI图像的分辨率,既能高效捕捉局部和全局图像信息,又克服了传统CNN和Transformer方法的局限性。
创新点:
-
提出了一种新的架构“变形-Mamba”,用于MRI图像超分辨率。
-
设计了一个多视图上下文模块,放置在瓶颈层中,以增强多尺度上下文信息的融合。
-
引入了一种对比边缘损失(CELoss),专注于增强MR图像的边缘纹理和对比度。
Multi-Scale VMamba: Hierarchy in Hierarchy Visual State Space Model
方法:
本文介绍了一种名为Multi-Scale VMamba (MSVMamba)的新型视觉骨干网络,它通过多尺度2D扫描技术和卷积前馈网络(ConvFFN)在计算复杂度和信息传递上取得平衡,显著提升了在图像分类和下游任务中的表现。
创新点:
-
创新引入了一种多尺度2D扫描策略,通过将扫描方向分为原始分辨率和下采样两组,既保持了长程依赖的学习能力,又减少了冗余和计算复杂度。
-
在VMamba的基础上,提出了层次化多扫描设计,通过在每个块中引入卷积前馈网络,增强了通道信息交换和局部特征捕获的能力。
-
将MS2D技术与ConvFFN集成到新的多尺度状态空间块(MS3)中,展示了适应不同规模模型配置的灵活性和可扩展性。
扫码添加小享,
回复“
多尺度曼巴
”
免费获取
全部论文+开源代码
Selective and multi-scale fusion Mamba for medical image segmentation
方法:
论文主要介绍了一种基于多尺度融合的Mamba架构,名为SMM-UNet,用于医学图像分割任务。旨在通过设计 SF-Mamba 层以捕捉局部边界和全局轮廓的特征,填补现有研究在精细化和宏观特征融合方面的空白。
创新点:
-
该结构通过动态调整局部和全局特征的权重分布,灵活选择有利于分割任务的特征信息,从而优化了分割性能。
-
利用Mamba结构融合来自不同尺度的特征图的全局信息,提升了对不同形状病变区域的分割鲁棒性。
-
SMM-UNet仅有0.038M参数,是已知参数最少的医学图像分割模型之一,为轻量化模型设计提供了新方向。
MSFMamba: Multi-Scale Feature Fusion State Space Model for Multi-Source Remote Sensing Image Classification
方法:
论文旨在通过提出一种新的多尺度特征融合Mamba (MSFMamba) 网络,利用状态空间模型解决多源遥感数据(高光谱图像和激光雷达/合成孔径雷达)的联合分类问题,填补现有方法在异质特征融合和计算复杂度方面的研究空白。