ViT作者飞机上也要读的改进版Transformer论文，花2个小时详细批注解读分享出来

点击下方 卡片 ，关注 「3D视觉工坊」 公众号
选择 星标 ，干货第一时间送达

添加小助理：cv3d001，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群。

扫描下方二维码，加入 「3D视觉从入门到精通」知识星球 ( 点开有惊喜 ) ，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料： 近20门秘制视频课程 、 最新顶会论文 、计算机视觉书籍 、 优质3D视觉算法源码 等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

但经过近期和同行的一些互动，觉得不应该轻易下定论，重新看了一遍论文后，他改变了看法

我的最初印象被团队的实验彻底打破了，他们的实验非常公平和谨慎。

此外还有一个彩蛋：

大佬通常会用坐飞机的时间来打4把Dota 2游戏快速模式。

现在写这个帖子也不能当论文评审工作写进简历，是纯纯的贡献个人时间了，以后也不会常写。

总之先给大佬点赞。

大佬解读热点论文

Beyer评价这篇论文的核心创新非常 simple和nice ，可以用一句话概括。

将两个注意力头配对，然后执行(softmax(Q ₁ K ₁ ) - λ*softmax(Q ₂ K ₂ )) V，其中λ是一个可学习的标量。

他认为这项研究的动机非常充分：随着上下文变长，（微小的）对不相关token的注意力之和可能超过对少数相关token的注意力，从而淹没它们。

这一洞见表明，随着输入长度的增加，经典Transformer可能越来越难以捕捉到关键信息。DIFF Transformer试图解决这一问题。

但他仍不确定对于训练充分的模型来说这是个多大的问题，希望在DIFF Transformer论文中有一些关于attention分布/熵的图表，以实际证明这个插图的合理性。

接下来，他指出了几个容易被忽视的细节：

• 与Figure1不同，DiffAttn实际上并没有对差值重新归一化。那么它究竟如何放大”相关”的分数呢？

Beyer建议论文中能提供更多实际训练的DIFF Transformer的分析图表。

• λ的计算相当复杂，涉及两个可学习的指数函数之差，加上一些基线λ_init，在早期的层是0.1，后面又是0.8。

Beyer认为λ不一定需要是正值，并建议提供更多对可学习λ参数的分析。

• 每个注意力头的输出都经过了层归一化并乘以(1-λ_init)，然后再concat并乘以W ^O ，这里也需要更多图表来证明。

接下来看论文中大量的实验。研究者基本上分叉了了StableLM-3B-4E1T，称之为Diff-3B，作为基线模型进行比较。

可惜的是，基线模型只在其中3个数据集上报告了结果，其中2个Diff-3B的表现都相当好。

Beyer怀疑这个StableLM-3B是否真的是一个强基线。

在参数量和token数的缩放曲线上，DIFF Transformer乍一看很有前景。但仔细观察后，Beyer提出了两点质疑：

• 缩放曲线明显分为两组，在它们之间画一条线有点牵强。查看附录可知，研究者为较大的两个模型降低了学习率。这是否意味着他们遇到了不稳定性问题？

• 每次实验只用了10B个token训练，这个数量非常小。Beyer理解其中的计算资源限制，但仍然感到有点不安。

这些实验表明，在相同大小的情况下，DIFF Transformer性能会更好一些，并且训练时间相同。

然而，它的的推理速度也会慢一些(慢5-10%)。

Beyer提出最好能看到以计算量或实际时间为横轴的缩放曲线。

在长文本评测和对输入样本顺序的鲁棒性方面，DIFF Transformer表现出了明显的优势。

特别是在上下文学习的鲁棒性实验中，DIFF Transformer在不同的样本排列顺序下，性能方差远小于经典Transformer。

这表明它更不容易被输入的细微变化扰乱，而经典Transformer容易受到样本顺序的影响，在最好和最坏情况下表现相差很大。

总的来说，Beyer对这篇论文的看法有所改观：

研究者的实验非常全面和谨慎，的确 展现了DIFF Transformer比单纯的”两个注意力头相减”更多的潜力 。

这项工作展现了一些有前景的火花。它在其他人的训练任务中能否很好地复现、或带来帮助，还有待进一步观察。

Lucas Beyer是谁

12月初，Lucas Beyer与Xiaohua Zhai、Alexander Kolesnikov集体从谷歌被挖到OpenAI。

他们曾共同提出Vision Transformer，开创了Transformer在CV领域应用的先河。

据他个人官网中介绍，他在比利时长大，曾梦想制作电子游戏以及从事AI研究。

他在德国亚琛工业大学学习机械工程，并在那里获得了机器人感知和计算机视觉博士学位，2018年加入谷歌。

除了这次长文分析DIFF Transformer之外，他还经常对新研究发表一些短的评论，比如最近火爆的DeepSeek v3，他也提出自己的建议。

总之是一位非常值得关注的学者。

DIFF Transformer论文：
https://arxiv.org/abs/2410.05258

参考链接：
[1] https://x.com/giffmana/status/1873869654252544079

本文仅做学术分享，如有侵权，请联系删文。

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括 2D计算机视觉 、 最前沿 、 工业3D视觉 、 SLAM 、 自动驾驶 、 三维重建 、 无人机 等方向，细分群包括：

工业3D视觉 ：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM ：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶 ：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建 ：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机 ：四旋翼建模、无人机飞控等

2D计算机视觉 ：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿 ：具身智能、大模型、Mamba、扩散模型、图像/视频生成等

除了这些，还有 求职 、 硬件选型 、 视觉产品落地、产品、行业新闻 等交流群

添加小助理: cv3d001，备注： 研究方向+学校/公司+昵称 （如 3D点云+清华+小草莓 ）, 拉你入群。

3D视觉工坊知识星球