专栏名称: 计算机视觉研究院

主要由来自于大学的研究生组成的团队，本平台从事机器学习与深度学习领域，主要在人脸检测与识别，多目标检测研究方向。本团队想通过计算机视觉战队平台打造属于自己的品牌，让更多相关领域的人了解本团队，结识更多相关领域的朋友，一起来学习，共同进步！

一文看尽2024年主流11注意力机制

计算机视觉研究院 · 公众号 · · 2024-09-18 10:10

正文

注意力机制 已经成了模型设计的基础架构，现在模型里没个Attention都不好意思发出来。

从注意力机制发布到今天，学术界一直在对Attention进行各种魔改。魔改后的Attention能够 提升模型的表达能力 、 增强跨模态能力和可解释性 ，以及 优化模型大小与效率 。

最重要的一点，很多注意力模块都是 即插即用 的。我们可以在自己的模型里用学术大牛的注意力模块，这样再做实验写论文绝对是事半功倍了。

近期，包括 缩放点积注意力、多头注意力、交叉注意力、空间注意力、通道注意力 等在内的11种主流注意力机制都有许多创新研究。今天分享 112个11种主流注意力机制 的创新研究，最新更新到24年9月。最新的创新思路非常适合大家用在实验中！

112个11种主流注意力机制的创新研究，paper和代码都帮大家下载整理好了。欢迎扫码领取。

扫码领112个11种主流注意力机制

创新研究paper和代码

缩放点积注意力

5.Sep.2024—LMLT:Low-to-high Multi-Level Vision Transformer for Image Super-Resolution
4.Sep.2024—MobileUNETR:A Lightweight End-To-End Hybrid Vision Transformer For Efficient Medical Image Segmentation
4.Sep.2024—More is More Addition Bias in Large Language Models
4.Sep.2024—LongLLaVA:Scaling Multi-modal LLMs to 1000 Images Efficiently via Hybrid Architecture

......

扫码领112个11种主流注意力机制

创新研究paper和代码

多头注意力

4.Sep.2024—Multi-Head Attention Residual Unfolded Network for Model-Based Pansharpening
30.Aug.2024—From Text to Emotion: Unveiling the Emotion Annotation Capabilities of LLMs
25.Jun.2024—Temporal-Channel Modeling in Multi-head Self-Attention for Synthetic Speech Detection
14.May.2024—Improving Transformers with Dynamically Composable Multi-Head Attention

......

扫码领112个11种主流注意力机制

创新研究paper和代码