专栏名称: 学姐带你玩AI
这里有人工智能前沿信息、算法技术交流、机器学习/深度学习经验分享、AI大赛解析、大厂大咖算法面试分享、人工智能论文技巧、AI环境工具库教程等……学姐带你玩转AI!
目录
相关文章推荐
银行家杂志  ·  中国外贸信托卫濛濛:提升信托服务质效 ... ·  3 天前  
91运营网  ·  91运营网vip会员早鸟票抢座ing!! ·  昨天  
91运营网  ·  91运营网vip会员早鸟票抢座ing!! ·  2 天前  
中国人民银行  ·  李强主持国务院第十二次专题学习 ·  3 天前  
51好读  ›  专栏  ›  学姐带你玩AI

通用创新点:坐标注意力机制!低成本下表现依旧SOTA

学姐带你玩AI  · 公众号  ·  · 2024-06-29 18:12

正文

同学们,今天我们来聊聊坐标注意力。

坐标注意力是一种非常高效的注意力机制, 它通过将位置信息嵌入到通道注意力中,轻轻松松就能提高轻量级网络的性能。

这一机制的 核心在于 其创新的结构和对位置信息的精确捕捉能力,允许模型在强调特定通道的同时维持对空间位置的敏感度。且由于简单灵活,它还可以轻松嵌入到各种移动网络中,并在各种计算机视觉任务中取得很好的性能。

因此如果我们想在不增加太多计算成本的情况下提升模型表现,坐标注意力是个非常好的选择。当然,为方便有需求的同学们实践,我已经整理好的 12个 最新的坐标注意力创新方案 分享给大家:

扫码添加小享, 回复“ 坐标12

免费获取 全部论文+开源代码

Expression Recognition Based on Multi-Regional Coordinate Attention Residuals

方法: 本文介绍了一种基于多区域坐标注意力残差的面部表情识别模型(MrCAR),通过多区域输入、坐标注意力残差网络和Arcface Loss分类器,提高了面部表情的识别准确率。

创新点:

  • 提出了多区域输入方法,通过MTCNN进行面部检测和对齐处理,并进一步裁剪眼睛和嘴巴部分,以获得多区域图片。通过多区域输入,更容易获取局部细节和全局特征,减少复杂环境噪声的影响,突出面部特征。
  • 在特征提取模块中引入了坐标注意力残差网络,通过添加CA-Net和多尺度卷积,提取关键特征,并提高了模型对表情细微变化的区分能力和关键特征的利用率。
  • 使用Arcface Loss作为分类器,同时增强类内紧密度和类间差异,从而减少模型对负面表情的错误分类。

Large coordinate kernel attention network for lightweight image super-resolution

方法: 本论文的研究目标是设计一种高效的单图像超分辨率网络,通过引入多尺度蓝图可分离卷积(MBSConv)和局部坐标核注意力(LCKA)来提高模型的性能和效率,填补现有轻量级超分辨率方法在多尺度信息提取方面的研究空白。

创新点:

  • 提出了大型坐标核注意力网络(LCAN),这是一种非常轻量级的SR模型,可以从低分辨率输入中恢复出高性能图像。LCAN比之前的轻量级SR网络更轻量级,同时实现了更优越的重建性能。
  • 提出了大型坐标核注意力(LCKA)模块,该模块将LKA的2D卷积核分解为水平和垂直1D卷积核,从而实现了局部信息和远距离依赖的邻近直接交互。

扫码添加小享, 回复“ 坐标12

免费获取 全部论文+开源代码

YOLOv5s-CA: A Modified YOLOv5s Network with Coordinate Attention for Underwater Target Detection

方法: 研究通过对YOLOv5s模型进行改进,提出了YOLOv5s-CA模型,该模型添加了多个瓶颈层以提高浅层特征提取能力,并嵌入了CA注意力模块和SE注意力模块以提高模型对感兴趣区域的关注。

创新点:

  • 对YOLOv5s模型进行了改进:引入了CA和SE模块,命名为YOLOv5s-CA,以提高水下目标检测的准确性。
  • 修改了骨干网络:在YOLOv5s模型的合适位置嵌入了SE注意力模块,使模型能够根据卷积输入自适应调整通道权重,从而适应不同复杂特征图上的每个目标的特征提取。

A New Semantic Segmentation Method for Remote Sensing Images Integrating Coordinate Attention and SPD-Conv







请到「今天看啥」查看全文