2017年,来自谷歌的几个研究员写下《Attention is All you need》的题目,给世界带来了Transformer模型架构
,它成为了今天“大模型”繁荣背后无可争议的根基。
OpenAI的GPT,Meta的Llama以及一众最主流大语言模型都是在Transformer的基础上生长起来,
某种
程度上,今天所有AI模型层面的研究都在围绕对Transformer的掌控与超越展开。
如何快速发一篇这一领域的论文呢,我给大家整理了135篇Transformer魔改方案论文,包括最新的idea顶会等,希望对大家的学习有多帮助。
另外我还邀请了
常年担任NeurIPS,ICML,ICLR,KDD,IJCAI等国际会议审稿人
一林老师
在4月17日晚20:00给大家带来
《Graph Transformer for GraphRepresentation Learning》
。
直播大纲:
1.图表示学习
2. Graph Transformer
3.Graph Transformer的末来方向
另外还邀请多位顶会大咖,
做了最全Transformer系列课程,
带你吃透理论和代码,了解未来应用,扫清学习难点。本次课程有两大亮点:
亮点一
:精讲论文+代码
亮点二
:详解Transformer的多方向应用
精讲VIT、PVT、Swin Transformer、DETR论文和代码,扎实理论+吃透代码。
详解预训练语言模型应用/基于VIT的语义分割算法/在视觉任务中的应用与高效部署。
0.01元解锁Transfoemer系列课
带你吃透理论和代码
加课程回复“Transformer"获取
360篇transform顶会论文合集
阶段一:吃透论文和代码,牢牢掌握Transformer基础
1:CV-transformer 概述
2:CV-transformer VIT论文讲解
3:CV-transformer PVT论文详解
4:CV-transformer PVT代码详解
5:CV-transformer Swin Transformer论文详解
6:CV-transformer Swin Transformer代码详解
7:CV-transformer DETR 论文详解
8:CV-transformer DETR代码讲解
10:CV-transformer——MAE
11:CV中的transformer专题MAE详解
阶段二:掌握Transformer多方向应用
1:Transformer简介和预训练语言模型应用
2:基于Vision Transformer的语义分割算法
3:Transformer在视觉任务中的应用与高效部署
-
ViT为的主图像分类网络
-
Segformer为主的图像分割网络
-
常用轻量化方法介绍