ICML、NIPS论文真的有巨大的贡献吗，感觉很强工作例如BERT，VIT其实idea都很简单？

干货第一时间送达

内容来自知乎，「计算机视觉工坊」整理，如有侵权请联系删除 https://www.zhihu.com/question/ 543028007

作者 董鑫

说个关于 MobileNet 的趣事.

MobileNet 基本上做过 CV 都知道吧, 引用也 1.6W+ 了.

之前 MobileNet 一作 Andrew Howard 来学校给一个课 TinyML 做讲座, 提到了关于 MobileNet 的趣事.

这篇文章被拒了两次 (具体是哪两个会记不清了, 好像是 CVPR 和 NeurIPS), 后来作者 "累觉不爱" 了, 索性就挂 Arxiv 了.

其实类似的例子还有 YOLO.

其实, 一篇工作中了, 说明得到了审稿人的认可, 当然是值得读一读的.

但是, 一篇工作没中, 同样可能是非常有价值的工作.

而一个工作变得被大家所熟知, 大概率是 <思路简单, 方法实用>

作者 momo

vit idea看似简单，但paper里的实验量惊人

transformer在小数据下，长期不如cnn

直到vit用了一亿的训练样本 实实在在超越了cnn

vit出来之前 把transformer用到cv上的尝试非常多

2018、19年youtube-8M上很多人都试过transformer，然后铩羽而归

那时候大家的感觉就是transformer不适合cv

所以有一个idea和把一个idea做动，区别还是挺大的。

假如你做vit，但长期使用的数据是百万这个量级（imagenet的量级），一直超不过ResNet，恐怕早就抑郁了，哭爹喊娘地去找导师，要求换课题。