专栏名称: AI算法科研paper
每日更新人工智能行业技术干货、论文推荐、动态资讯、职场指南等AI知识。关注AI算法科研paper更深入了解人工智能。
相关文章推荐
德州晚报  ·  我国发现首个亿吨级页岩油油田!就在山东→ ·  4 小时前  
山东省交通运输厅  ·  河南省交通运输厅到山东调研交流内河水运有关工作 ·  23 小时前  
德州晚报  ·  7级阵风!持续升温!德州最新天气预报 ·  昨天  
德州晚报  ·  气温先升后降!德州最新天气预报→ ·  3 天前  
鲁中晨报  ·  招聘劳务派遣人员!淄博这里发布公告 ·  3 天前  
51好读  ›  专栏  ›  AI算法科研paper

超越Transformer!Mamba入局图像复原,达成新SOTA!

AI算法科研paper  · 公众号  ·  · 2024-12-25 19:02

正文

图像复原又来新突破了! 还记得性能超越SwinIR(基于Transformer)的MambaIR吗?一种基于Mamba的图像复原基准模型,登上ECCV 2024。最近原作者又开发了新版本MambaIRv2,更高性能、更高效率!另外还有ACM MM 2024上的Freqmamba方法,在图像去雨任务中取得了SOTA性能!

显然,这种基于Mamba的方法在图像复原领域,比基于CNN和Transformer的方法更受欢迎。得益于Mamba全局感受野、线性计算复杂度、高效远程依赖处理等诸多优势,它在图像复原(比如超分辨率、去噪等)任务上实现了 更高的复原质量和更低的计算成本 !可以说是图像增强领域的研究焦点。

目前这方向研究热情高涨,顶会成果多,为了帮论文er抓紧机会,我已经挑选好了 10篇 Mamba做图像复原的高质量论文 供大家参考,基本都有代码,想速发论文拿下顶会的别错过啦。

扫码添加小享, 回复“ 曼巴复原

免费获取 全部论文+开源代码

MambaIRv2: Attentive State Space Restoration

方法: 论文提出了一种基于Mamba架构的图像复原方法MambaIRv2,通过引入非因果建模能力,类似于ViT,来增强Mamba的图像复原性能。这种方法特别关注解决Mamba在因果建模中的局限性,允许模型在整个图像中更有效地利用像素信息,从而提高图像复原任务的性能,如超分辨率、去噪和JPEG压缩减少等。

创新点:

  • 提出了“注意力状态空间恢复”的新方法,通过将注意力机制与状态空间模型结合,克服了Mamba架构的因果建模限制。
  • 通过语义引导的邻域重构,作者将相似像素在一维序列中重新排列,使其更加接近。

Freqmamba: Viewing mamba from a frequency perspective for image deraining

方法: 论文提出了一种名为FreqMamba的图像复原方法。FreqMamba结合了Mamba模型和频率分析,专注于图像去雨任务。该方法通过结合频率分析和Mamba的状态空间模型来提高去雨效果,包括空间Mamba、频率带Mamba和傅里叶全局建模三个交互结构,旨在利用Mamba捕捉局部相关性的能力,同时通过频率分析增强对全局退化的感知。

创新点:

  • FreqMamba 是一种创新性的去雨网络,通过结合空间域序列建模和频率域全局建模,以应对图像去雨的挑战。
  • 引入了一种新颖的三分支结构用于低光图像增强,成功应对照明不足和噪声放大的场景。
  • 频率SSM模块利用多尺度U-Net架构,并结合不同尺度的降解图像生成注意力图,捕获不同尺度的降解分布。

扫码添加小享, 回复“







请到「今天看啥」查看全文