45个开源的多尺度注意力创新点，顶会都在用！

深度之眼 · 公众号 · · 2024-06-27 18:09

正文

分享一个顶会都在用的模型涨点方法： 多尺度注意力 。

在 CVPR2024 、 ICLR2024 、 TMM2023 都有多篇基于多尺度注意力的改进创新。因为它的应用面真的很广：你可以用它来 提升模型的泛化性 、 鲁棒性 和效率；也可以设计 新的尺度组合方式 ；还能 跨模态融合 等等。

近三年内有关多尺度注意力的创新很多，我把其中热门的，最主要是 有开源代码的45个创新点 整理了。

45个研究都用 中文标注核心创新点 ，方便大家查找和学习。而且 全部都有论文PDF和下载好的开源代码 ，不需要再去网上找，直接下载这个合集就可以了。

今天 无偿分享 给大家学习，欢迎扫码下载。

扫码下载45个多尺度注意力创新思路

全部论文+代码

这其中有最新CVPR2024、ICLR2024、TMM2023、WACV2023上的创新研究，也有例如引用量100+的高效多尺度注意力模块（EMA），都是近三年内的热门。

大家可以通过这些研究，学习如何利用多尺度注意力 给模型涨点 ， 提供创新idea ， 写出能冲顶会的论文 ！

想要全部 45个多尺度注意力创新思路 ，可以扫码下载！

扫码下载45个多尺度注意力创新思路

全部论文+代码

部分热门研究简析：

【CVPR2024】Modality-agnostic Domain Generalizable Medical Image Segmentation by Multi-Frequency in Multi-Scale Attention

提出了一种适用于医学图像分割的模态无关领域泛化网络（MADGNet），它包括两个关键组件：多频率多尺度注意力（MFMSA）模块和集成子解码模块（E-SDM）。MFMSA模块通过整合多频率和多尺度特征来完善空间特征提取过程，E-SDM减轻深度监督下多任务学习中的信息丢失。通过广泛的实验，我们证明了MADGNet在各种成像方式中始终优于最先进的模型，展现出卓越的分割性能。

【引用100+】Efficient Multi-Scale Attention Module with Cross-Spatial Learning

在这篇论文中，提出了一种新颖的高效多尺度注意力（EMA）模块。专注于保留每条通道的信息并减少计算开销，作者将部分通道重塑为批量维度，并将通道维度分组为多个子特征，使空间语义特征在每个特征组内得到均匀分布。具体来说，除了将全局信息编码到每个并行分支中以重新校准通道维度上的权重外，两个并行分支的输出特征还通过跨维度交互进一步聚合，以捕捉像素级对之间的关系。