专栏名称: 计算机视觉工坊

专注于计算机视觉、VSLAM、目标检测、语义分割、自动驾驶、深度学习、AI芯片、产品落地等技术干货及前沿paper分享。这是一个由多个大厂算法研究人员和知名高校博士创立的平台，我们坚持工坊精神，做最有价值的事~

如何看深度学习里的Money is all you need的吐槽？

计算机视觉工坊 · 公众号 · · 2024-10-27 00:00

正文

点击上方“ 计算机视觉工坊 ”，选择“星标”

干货第一时间送达

内容来自知乎，「计算机视觉工坊」整理，如有侵权请联系删除 https://www.zhihu.com/question/462995456

如何看深度学习里的Money is all you need的吐槽？

作者 Zhifeng

1、机器不够，只好智商来凑。工业界并没有把路堵死，只是把调参调模型的路堵死了。身处学术界，没有计算资源的lab，应该更像传统做学术研究的模式，尝试一些clever ideas，也就是需要静下心来靠创造力而非工程能力才能想到的东西。可以多挖坑，提出新问题或者新想法，而不要过于纠结于刷SOTA. Large scale的推广，就交给工业界来做吧，其实这个分工ideally还是挺好的（当然现实中会有抢功劳）。

2、我最近也遇到了类似的问题，我就用我的例子来解答吧。去年Berkeley/google写了一篇叫DDPM(denoising diffusion probabilistic model)的生成模型，效果很好，只不过需要好多个TPU训练好多天，我等小博士生自然是跑不起来的，只能把pretrained model下载下来，甚至连只跑inference都奇慢无比。所以我最近研究了如何快速sampling, 无需retrain便能做到几十倍加速，从而让我能够在single GPU上做extensive evaluation (paper: https//arxiv.org/pdf/2106.00132.pdf; code repo: FastDPM_pytorch). 再举一个早一点的例子，我记得BERT刚出来不久，有个实习生写了一篇文章，讲的是如何在一个GPU上训练 BERT. 所以，我相信只要肯思考就一定有路子的。

作者今夜或不再

只能说调参是深度学习中很重要的一部分，任你的idea再novel，metric上不来还是发不了文章...而调参目前并没有足够的理论支撑，想要调到好的参数只能多试；笨一点就用grid search/random search，聪明些就找一些调参的优化模型，有方向地调参，但哪种参数最好还是只能等模型跑完看结果，所以显卡就成为深度学习中最珍贵的资源宏观层面来说，破局的方式还是要构建深厚的理论基础，增加模型的可解释性；