AI博士进组导师说深度学习研究五六年了出不了成果了, 该怎么办?

尼谟评价：

这是知乎上一个22年提出的问题，以下绝大部分回答也是在22年发布的并且是基于当时的背景来谈的。鉴于ChatGPT是22年底到23年初才火起来的，如今的情况相比这些22年的回答来看又已经截然不同了，看看各大顶会上有多少花样prompt工程的论文吧。

就我自己的浅见，长期视野来看，即使未来有更强大的范式被发现，深度学习仍会牢牢占据未来AGI研究的一个模块。短期视野来看，当下马上能落地的AI应用中，深度学习作为一个组件来说无疑占据着最为重要的地位。以下回答中，我非常认同我引用的第一位答主“丁果”的回答。

知乎原问题（无问题描述）：

https://www.zhihu.com/question/554950172

以下回答版权归属原答主，侵删

知乎用户“丁果”

“物理学的大厦已经建成，现在天空中就只剩两片乌云”

--开尔文

结果现如今，物理学里到处是乌云。其实我感觉现在深度学习这里，也是到处是乌云。

知乎用户“匿名用户”

建议换老板，我本人前导师就喜欢说这种话，然而实际上对deep learning完全不懂。在知乎上看过几篇喷deep learning的博客，就觉得deep learning已经废了。

知乎用户“ 好好学习天天向上 ”

从技术的发展来看，那是不可能的。

从研一到现在整整 6 年一直从事深度学习，毕业设计就是用深度学习做的一些应用，记得 3 年前毕业前双选会找工作，一个老板亲自来招聘会招人，然后面试了我，我表示要找个深度学习的工作，他就一个劲地说深度学习已经进入寒冬了，这里不行，那里不行。我一听好像也有道理，尴尬得不知道该说什么，因为当时 19 年网上很多博客文章在讲 AI 发展到瓶颈了，只是堆堆层数，改改模型，参数量大，又极占用内存，根本无法在现实场景落地， AI 已经没什么大变化，需要一场大革新，似乎深度学习真的发展不下去了。

想不到 3 年过去了，科研界的变化简直是用沧海桑田形容，就连工业界的应用也遍地开花，公司找工厂客户拉项目挖掘商机 PPT 不吹一波自己用了什么 AI 算法都不好意思吹。自己也因为工作太久完全跟不上了，因为各种算法每年层出不穷。记得当年在学校那个年代，早两届的师兄还是靠 caffe 水论文，到我这一届靠 tensorflow 出论文，自从毕业后， pytorch 开始走进巅峰，之前辛辛苦苦写的 tensorflow 代码一夜之间全部作废。早两届的师兄当年日日夜夜搞实验冒出一堆白头发写论文的画面如今历历在目，但当年那些发表的论文到现在却已无人问津，再早 4 ， 5 届师兄师姐苦苦实验论文写那些 adboost ， svm 识别之类的，如今更加没什么人关注了。

毕业 3 年了，一看自己当年辛辛苦苦水的论文基本毫无参考价值了，只是静静挂在知网，告诉前人，这样子做过时了，然后成为了给后人铺路的垫脚石。也难怪，说计算机这一行是吃青春饭的一点也不过分，现在依然是弱 AI ，需要花非常长的时间通往到强 AI ，技术也会一直更新迭代下去，因此别以为自己掌握了某个技术，然后苦苦学习某个作者的算法思想再日夜优化，让代码极其工整好用就可以一直吃老本，然而技术往往像食物一样有保质期，经常是抵不过新技术一出来直接全部取代现有技术。

工作干了 3 年 DL ，跟那种刚毕业的小年轻一比较，他们相当于读研学了 3 年，有 3 年新 DL 经验，我基本上没有技术壁垒上的优势，甚至我掌握的技术还要落后，不经常翻看每年新出的毕业论文根本不知道自己落后多少了。当年辛辛苦苦写的功能，如今掉用个开源包一行代码就实现了。 3 年前比较火热的胶囊网络跌落神坛无人问津了，此后陆陆续续冒出各种注意力机制算法，今年是 transformer 大爆炸的一年，这是要一统 cv 和 nlp 的节奏，而 yolo 已从 v3 到 v7 ，图神经网络和强化学习从 19 年的论文数量开始飙升，还有最近火的 diffusion 说是要开始淘汰 gan ，我的感觉就是，不久又会有很多新瓜出现。

现在研究 AI 的人更多了，起码计算机班半数人的硕士论文跟深度学习有关，如今也越来越卷了，深度学习分很多领域搞专细化了，同样是学深度学习的，比如搞目标跟踪的人看不懂对抗网络的东西，反过来也是。现在理论也越来越难学了，算法也越来越吃硬件了， 18 年还是宝物的 1080 短短两三年后就被停产淘汰了，如今美国佬却在限制 A100 ，可见以后 AI 的发展会受到严重影响。当年随便改改模型结构就发 paper 了，现在开始想要创新发论文必须挑一个领域研究得很细，并在细分领域搞突破才行，学得太广做万金油只对找工作有利。 DL 依然有很多问题待解决，做少样本元学习，无监督学习，增量学习，这些问题也是 AI 发展的瓶颈，无论学术界还是工业界都让人非常头疼，就看研究人能不能有突破然后发文章。既然这 3 年的变化巨大的，谁知道 3 年后会不会又有什么重大变化呢，依我看，做 DL 的研究依然能持续灌水多年。