超越Transformer！Mamba魔改的100种方案！

深度之眼 · 公众号 · · 2024-07-18 18:46

正文

今年基于Mamba的改进变体层出不穷。涵盖图像分割、时序、视频音频、点云、多模态等方向。2024上半年已有近百篇相关论文，更有多篇被CVPR、ICLR、ECCV等顶会收录！

未来几年内Mamba都是一个很好出论文的方向，今天分享 86个Mamba魔改思路 ！共分为11个方向，而且全部都有 开源代码 ！今天无偿分享给大家！

11个Mamba魔改方向
状态空间模型	扩散模型	视觉
推荐系统	语音/音频	视频
时间序列	多模态	图表
医学图像	点云	_

扫码领取86个Mamba魔改思路

部分热门Mamba架构改进

【Mamba-2】Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality

Mamba原作者出手， 大名鼎鼎的 Mamba-2 。提出了一种将Transformer模型与结构化状态空间模型（SSM）相结合的新方法，揭示了Transformer模型可以视作一种广义的SSM。通过引入结构化状态空间对偶性，作者开发了高效的算法来增强Transformer模型的性能和计算效率。