专栏名称: 深度之眼
入行人工智能,学算法公式,写毕业论文,看经典书籍,刷全球公开课,就来深度之眼
目录
相关文章推荐
新疆949交通广播  ·  免费开放! ·  昨天  
新疆949交通广播  ·  2月10日凌晨,抬头看! ·  3 天前  
新疆949交通广播  ·  出现这些情况可能是流感重症!警惕→ ·  3 天前  
中国地震台网  ·  新疆阿克苏地区沙雅县发生3.6级地震 ·  3 天前  
51好读  ›  专栏  ›  深度之眼

Transformer仍是2024发论文神器!

深度之眼  · 公众号  ·  · 2024-04-18 16:32

正文

2017年,来自谷歌的几个研究员写下《Attention is All you need》的题目,给世界带来了Transformer模型架构 ,它成为了今天“大模型”繁荣背后无可争议的根基。

OpenAI的GPT,Meta的Llama以及一众最主流大语言模型都是在Transformer的基础上生长起来, 某种 程度上,今天所有AI模型层面的研究都在围绕对Transformer的掌控与超越展开。

如何快速发一篇这一领域的论文呢,我给大家整理了135篇Transformer魔改方案论文,包括最新的idea顶会等,希望对大家的学习有多帮助。

扫码回复 " transformer "

领取135篇魔改论文合集


另外我还邀请了 常年担任NeurIPS,ICML,ICLR,KDD,IJCAI等国际会议审稿人 一林老师 在4月17日晚20:00给大家带来 《Graph Transformer for GraphRepresentation Learning》


直播大纲:


1.图表示学习

2. Graph Transformer

  • Transformer简介

  • Graph Transformer简介

  • Graph Transformer经典模型之Graphormer (NeurlPS 2021)

  • Graph Transformer经典模型之NAGphormer (ICLR 2023)

3.Graph Transformer的末来方向


另外还邀请多位顶会大咖, 做了最全Transformer系列课程, 带你吃透理论和代码,了解未来应用,扫清学习难点。本次课程有两大亮点:


亮点一 :精讲论文+代码

亮点二 :详解Transformer的多方向应用


论文+代码


多方向应用

精讲VIT、PVT、Swin Transformer、DETR论文和代码,扎实理论+吃透代码。

详解预训练语言模型应用/基于VIT的语义分割算法/在视觉任务中的应用与高效部署。

0.01元解锁Transfoemer系列课

带你吃透理论和代码

加课程回复“Transformer"获取 360篇transform顶会论文合集


Transtormer系列课程目录


阶段一:吃透论文和代码,牢牢掌握Transformer基础

1:CV-transformer 概述

2:CV-transformer VIT论文讲解

3:CV-transformer PVT论文详解

4:CV-transformer PVT代码详解

5:CV-transformer Swin Transformer论文详解

6:CV-transformer Swin Transformer代码详解

7:CV-transformer DETR 论文详解

8:CV-transformer DETR代码讲解

9:CV-transformer——VIT

10:CV-transformer——MAE

11:CV中的transformer专题MAE详解


阶段二:掌握Transformer多方向应用

1:Transformer简介和预训练语言模型应用

2:基于Vision Transformer的语义分割算法

3:Transformer在视觉任务中的应用与高效部署

  • ViT为的主图像分类网络

  • Segformer为主的图像分割网络

  • 常用轻量化方法介绍

  • 以Transformer为主的视觉任务设计高效的轻量化方法

  • 未来挑战与研究方向








请到「今天看啥」查看全文