专栏名称: 学姐带你玩AI
这里有人工智能前沿信息、算法技术交流、机器学习/深度学习经验分享、AI大赛解析、大厂大咖算法面试分享、人工智能论文技巧、AI环境工具库教程等……学姐带你玩转AI!
目录
相关文章推荐
E药经理人  ·  2024-2030年生物制药行业深度调研及发 ... ·  14 小时前  
51好读  ›  专栏  ›  学姐带你玩AI

超越Transformer!Mamba入局图像复原,达成新SOTA!

学姐带你玩AI  · 公众号  ·  · 2025-01-25 18:15

正文

图像复原又来新突破了! 还记得性能超越SwinIR(基于Transformer)的MambaIR吗?一种基于Mamba的图像复原基准模型,登上ECCV 2024。最近原作者又开发了新版本MambaIRv2,更高性能、更高效率!另外还有ACM MM 2024上的Freqmamba方法,在图像去雨任务中取得了SOTA性能!

显然,这种基于Mamba的方法在图像复原领域,比基于CNN和Transformer的方法更受欢迎。得益于Mamba全局感受野、线性计算复杂度、高效远程依赖处理等诸多优势,它在图像复原(比如超分辨率、去噪等)任务上实现了 更高的复原质量和更低的计算成本! 可以说是图像增强领域的研究焦点。

目前这方向研究热情高涨,顶会成果多,为了帮论文er抓紧机会,我已经挑选好了 10篇 Mamba做图像复原的高质量论文 供大家参考,基本都有代码,想速发论文拿下顶会的别错过啦。

扫码添加小享, 回复“ 曼巴复原

免费获取 全部论文+开源代码

MambaIRv2: Attentive State Space Restoration

方法: 论文提出了一种基于Mamba架构的图像复原方法MambaIRv2,通过引入非因果建模能力,类似于ViT,来增强Mamba的图像复原性能。这种方法特别关注解决Mamba在因果建模中的局限性,允许模型在整个图像中更有效地利用像素信息,从而提高图像复原任务的性能,如超分辨率、去噪和JPEG压缩减少等。

创新点:

  • 提出了“注意力状态空间恢复”的新方法,通过将注意力机制与状态空间模型结合,克服了Mamba架构的因果建模限制。
  • 通过语义引导的邻域重构,作者将相似像素在一维序列中重新排列,使其更加接近。

Freqmamba: Viewing mamba from a frequency perspective for image deraining

方法: 论文提出了一种名为FreqMamba的图像复原方法。FreqMamba结合了Mamba模型和频率分析,专注于图像去雨任务。该方法通过结合频率分析和Mamba的状态空间模型来提高去雨效果,包括空间Mamba、频率带Mamba和傅里叶全局建模三个交互结构,旨在利用Mamba捕捉局部相关性的能力,同时通过频率分析增强对全局退化的感知。

创新点:

  • FreqMamba 是一种创新性的去雨网络,通过结合空间域序列建模和频率域全局建模,以应对图像去雨的挑战。
  • 引入了一种新颖的三分支结构用于低光图像增强,成功应对照明不足和噪声放大的场景。
  • 频率SSM模块利用多尺度U-Net架构,并结合不同尺度的降解图像生成注意力图,捕获不同尺度的降解分布。

扫码添加小享, 回复“ 曼巴复原

免费获取 全部论文+开源代码

Multi-dimensional Visual Prompt Enhanced Image Restoration via Mamba-Transformer Aggregation

方法: 论文提出了一个名为MTAIR的方法,通过充分利用Mamba和Transformer的互补优势,在不牺牲计算效率的情况下,处理包括图像去噪、去雨和去雾等多种图像退化问题。MTAIR通过在空间和通道维度上设计多维提示学习模块,来动态调整特征分布并挖掘与特定退化任务相关的上下文信息,从而提高了“全能型”图像复原模型的性能。

创新点:

  • 结合了Mamba和Transformer的优势,通过选择性扫描机制在空间维度进行长距离依赖建模,同时利用Transformer的自注意力机制在通道维度进行判别特征学习。
  • 设计了一种新颖的多维提示学习模块,能够从多尺度层中学习提示流,有助于从空间和通道角度揭示各种退化的底层特征,从而增强"多合一"模型解决各种恢复任务的能力。







请到「今天看啥」查看全文