专栏名称: 机器学习算法与Python实战

长期跟踪关注统计学、数据挖掘、机器学习算法、深度学习、人工智能技术与行业发展动态，分享Python、机器学习等技术文章。回复机器学习有惊喜资料。

“大模型”根基—Transformer的360篇论文大盘点

机器学习算法与Python实战 · 公众号 · · 2024-04-16 15:25

正文

2017年，来自谷歌的几个研究员写下《Attention is All you need》的题目，给世界带来了Transformer模型架构 ，它成为了今天“大模型”繁荣背后无可争议的根基。

OpenAI的GPT，Meta的Llama以及一众最主流大语言模型都是在Transformer的基础上生长起来, 某种程度上，今天所有AI模型层面的研究都在围绕对Transformer的掌控与超越展开。

如何快速发一篇这一领域的论文呢，我给大家整理了135篇Transformer魔改方案论文，包括最新的idea顶会等，希望对大家的学习有多帮助。

扫码回复 " transformer "

领取135篇魔改论文合集

另外我还邀请了 常年担任NeurIPS，ICML，ICLR，KDD，IJCAI等国际会议审稿人 一林老师在4月17日晚20:00给大家带来《Graph Transformer for GraphRepresentation Learning》。

直播大纲：

1.图表示学习

2. Graph Transformer

Transformer简介
Graph Transformer简介
Graph Transformer经典模型之Graphormer (NeurlPS 2021)
Graph Transformer经典模型之NAGphormer (ICLR 2023)

3.Graph Transformer的末来方向

另外还邀请多位顶会大咖， 做了最全Transformer系列课程， 带你吃透理论和代码，了解未来应用，扫清学习难点。本次课程有两大亮点:

亮点一 ：精讲论文+代码

亮点二 ：详解Transformer的多方向应用

论文+代码

和

多方向应用

精讲VIT、PVT、Swin Transformer、DETR论文和代码，扎实理论+吃透代码。

详解预训练语言模型应用/基于VIT的语义分割算法/在视觉任务中的应用与高效部署。

0.01元解锁Transfoemer系列课

带你吃透理论和代码

加课程回复“Transformer"获取 360篇transform顶会论文合集

Transtormer系列课程目录

阶段一：吃透论文和代码，牢牢掌握Transformer基础

1：CV-transformer 概述

2：CV-transformer VIT论文讲解

3：CV-transformer PVT论文详解

4：CV-transformer PVT代码详解

5：CV-transformer Swin Transformer论文详解

6：CV-transformer Swin Transformer代码详解

7：CV-transformer DETR 论文详解

8：CV-transformer DETR代码讲解

9：CV-transformer——VIT

10：CV-transformer——MAE

11：CV中的transformer专题MAE详解

阶段二：掌握Transformer多方向应用

1：Transformer简介和预训练语言模型应用

2：基于Vision Transformer的语义分割算法

3：Transformer在视觉任务中的应用与高效部署

ViT为的主图像分类网络
Segformer为主的图像分割网络
常用轻量化方法介绍

以Transformer为主的视觉任务设计高效的轻量化方法

未来挑战与研究方向

0.01元解锁22节系列课

带你吃透理论和代码

“大模型”根基—Transformer的360篇论文大盘点

正文

请到「今天看啥」查看全文