马斯克：90% 学术论文都毫无用处 | 如何评价 AI 领域灌水之风

马斯克说出“大多数学术论文都毫无价值”这句话，实际上是他在 2013 年接受可汗学院（Khan Academy，类似 Coursera 的一个非盈利在线教育课堂）创始人 Salman Khan 采访时提到的。完整的视频在这里：https://www.youtube.com/watch?feature=player_detailpage&list=WLF7AD1FF84390A665&v=vDwzmJpI4io&t=518

不仅如此，马斯克还接着说，“究竟有多少 PhD 论文被人真正用过？”

图片来源：微信公众号“ScienceLondon”

自然，马斯克此话一出，在 Quora 立即引发了激烈的讨论，有人赞成，有人反对。不过，总体来说，“赞同”这一观点的人在多数，这也是所谓“却获百位科技界精英力挺”的由来。但是，这些赞同也是有情景的。

得赞第二多（256）的是 Quora 工程师副总裁 Xavier Amatriain 的回答，作为多篇论文的作者以及审稿人，Amatriain 表示：“现行的学术体系并不以提升‘实用性’为基础，一旦接受了这一设定，那么多数论文无用（useless）就毫不奇怪了……至少 useful 的部分定义是如此。” Amatriain 继续说，学术论文主要从是否有新意（novelty）、有意义（significance）和有多少原创性（originality）这几个方面考量。所以，在评论一篇学术论文的时候，真正应该问的是：这篇论文对这届学术论文是否有意义，而非问这篇论文是否对全人类有意义。

得赞最多（965）的回答是加利福尼亚大学圣地亚哥分校教授、Whova 公司创始人 Zhou YuanYuan 的回答，他认为学术论文有以下几点“无用之处”：首先，训练博士生的创造性思维、解决问题能力、项目设计能力和写作能力等。“我确信马斯克也雇佣过很多这样的博士生。”其次，Zhou 表示，要产出那 5% 对产业和未来造成深远影响的论文，需要很多论文的铺垫。“确实，有很多蹩脚的论文，但这就像有很多不靠谱的初创公司或谷歌内部创业项目一样。”

需要指出，马斯克说“大多数论文无用”这句话也是有上下文的。马斯克在说出这句话之前，表示了他想选择那些能够在产业/商业上至少有可能成功的项目，因为失败是难以避免的。

接下来，马斯克才提到，他认为在学术上成功相对容易（见最开始的图片）——你可以发表很多“无用”的论文。至少对于当时马斯克而言，他认为在学术界，论文发表就意味着成功了。

此话题在新智元专家社群中也引起了广泛的讨论：

新智元创始人兼 CEO 杨静认为，需要同行评议和产业应用的筛选，才能优中选优，创业投资也是如此，90%是失败的，但探索当然都有价值，不是成功才算价值。

微软亚洲研究院首席研究员华刚认为：“毫无价值”是从商人的角度去讲的， 就是赚不了钱。写论文是烧钱的事情 ，在商人眼里当然没价值 。在美国读PhD的学生， 一年如果出一篇 CVPR 的论文， 大概导师要花费10万美元的经费， 但学生被培养出来了 ，这才是真正的价值。写论文是对逻辑正则思维的一种系统培养 ，写出一篇论文 ，经过同行评议 、修改、发表出来。这个过程本身就是一种价值，光看最后的论文，当然90%赚不到钱。但也是为研究从量变到质变添了一块砖 。

浙江工业大学计算机科学与技术学院院长王万良说：一方面论文质量有待提高，另一方面要正确认识论文的作用。论文不是设计图纸，许多只是实用技术的前期研究中间结果。企业的研发和高校科研院所的研发是不同的研发阶段，难以互相取代。许多事情关键是正确认识。例如，有些人说国家资助的一些攻关项目没有取得经济效益，其实开发的产品没有取得直接的经济效益，但使得国外进口产品价格大幅下降，对于国家而言也是经济效益。有些产品国内没开发出来前，国外产品价格很高，但如果国内开发岀来了，国外产品价格会大幅调低。

传媒梦工场 CEO 蒋纯评论称：这个叫 “吃了十个馒头，第十个才有价值，前面九个都毫无价值”。

文安智能王天树：所以研究只能靠国家和有识之士资助, 志存高远, 不求短期回报。光顾着挣钱就没法持久了。

不仅产业界的人（比如马斯克）会认为学术论文无用，实际上，学术界的人也有关于“论文无用”的讨论，这并不是什么新鲜事。日前，一个名为《AI 领域的灌水之风如何破局？》的问题也在知乎上引发了不少讨论。

问题描述十分尖锐：

“随着人工智能的新一轮浪潮，各大顶级会议人满为患，IJCAI、AAAI 之类的综合性大杂烩每年发表600+论文，审稿质量奇差难忍，甚至打招呼横行；ACL、CVPR、ICCV几个子领域会议发表文章也在 300-600 篇，审稿质量也有下滑趋势；只有 ICML、NIPS、KDD的发表规模和审稿质量控制得还可以。

“在 AI 领域工作的科研人员面临着论文通货膨胀的巨大压力，一篇ICML、NIPS的工作量是IJCAI、AAAI的数倍，但在各种评价中作用一样，CCF的这个指挥棒导致一些课题组宁愿一年发表近10篇IJCAI、AAAI而不愿意冲击一篇ICML、NIPS。

“长此以往就会论文越来越多，而中国的AI水平在国际上不升反降，毕竟国际同行恐怕不会认为ML、CV、NLP 影响力最大的一批论文来自IJCAI、AAAI。或者，CCF（中国计算机学会）的指挥棒应该改一改了？”

经作者授权以后，我们将几个不同的回答放在下面。

针对有些质疑说几句，纯属个人看法。

• IJCAI、AAAI之类的综合性大杂烩每年发表600+论文，审稿质量奇差难忍，甚至打招呼横行；ACL、CVPR、ICCV几个子领域会议发表文章也在300-600篇，审稿质量也有下滑趋势；只有ICML、NIPS、KDD的发表规模和审稿质量控制得还可以。

我刚查了下NIPS 2010年录用论文292篇，NIPS 2015 403篇，NIPS 2016 569篇；ICML 2016 322篇。且不说IJCAI/AAAI涵盖领域比ML大很多（包括知识、规划等很多领域），单看论文规模，NIPS/ICML论文数量一点也不小，涨幅一点也不慢。凭什么靠论文数量就认定其他会议灌水成风呢？某老师也在微博上分享过AAAI 2016论文作者统计，第一是美国，第二是中国。照这么说美国的AI水平更是“在国际上不升反降”？还是有人潜意识里就认为，只要是国人中的多的学术会议就Low，就是灌水，就是通货膨胀？

个人一点都不否认现在AI很热，不否认有灌水现象，不否认IJCAI、AAAI审稿意见有太多不靠谱，更不否认有些成果是“追赶”而少“引领”。但我想说，这几年国内学者在各大AI/NLP/CV学术会议上的崛起，绝不是用灌水等负面字眼所能抹杀的。回想2006年我刚读博士生的时候，国内中1篇顶会就能上校系新闻，很多学生还要巴巴地去MSRA等机构深造一下才能发出顶会论文。短短的10年后，国内能够在顶会上持续发表论文的单位和学者已经遍地开花，学术氛围空前浓厚。在这样的氛围下，相信大家自然会不断提高研究品位和水平，催生“引领”式的成果。路是一步一步走的，饭是一口一口吃的，不应该因为吃到第六个馒头吃饱了，就埋怨不该费神吃前面那五个。

• 在AI领域工作的科研人员面临着论文通货膨胀的巨大压力，一篇ICML、NIPS的工作量是IJCAI、AAAI的数倍，但在各种评价中作用一样，CCF的这个指挥棒导致一些课题组宁愿一年发表近10篇IJCAI、AAAI而不愿意冲击一篇ICML、NIPS。

AI 领域并非铁板一块，方向也有很多。术业有专攻，有的课题组研究方向就是NLP就是知识图谱，之前的相关工作就是发在IJCAI、AAAI、ACL、EMNLP上，那么他们为什么要去投偏重机器学习方法和理论的ICML/NIPS？

像“一篇ICML、NIPS的工作量是IJCAI、AAAI的数倍”这样的说法，还是请给出定量统计数据再做决断的好。至少我知道的发表在IJCAI、AAAI上的Open Information Extraction，Explicit Semantic Analysis等一批有影响力的工作，工作量一点都不小。

即使是做ML，也不见得所有工作都该投ICML/NIPS。虽然IJCAI/AAAI由于规模太大，审稿人大都是大同行，审稿意见容易出现偏差；但这样反而容易让那些问题新颖、脑洞大开的论文得到录用，不见得是件坏事。所以，我一直建议同学，如果做的是经典任务的改进模型，应该投ACL/EMNLP等小同行会议；如果做的是新问题新思路，倒是投IJCAI/AAAI更合适些。

• 长此以往就会论文越来越多，而中国的AI水平在国际上不升反降，毕竟国际同行恐怕不会认为ML、CV、NLP影响力最大的一批论文来自IJCAI、AAAI。或者，CCF的指挥棒应该改一改了？

为什么有人会觉得10篇IJCAI、AAAI也不如1篇ICML、NIPS，呼吁CCF的指挥棒改一改？我反而觉得这些人的思想深处，才是对学术会议有根深蒂固的偏见。归根结底，发表学术论文、参加学术会议无非是向学术界宣传自己的学术成果，无非是在不同学术会议上宣传的受众不同而已。学术成果发表出来，是否经得起历史考验才是关键。论文发表在NIPS/ICML上，如果没人看、没人引、没人用、没有对该方向的实际推动，又有什么意义；论文发表在AAAI/IJCAI上，如果有人看、有人引、有人用，那也是影响力的体现。

CCF期刊会议列表只是个门槛，学术会议也只是个门槛，上不封顶。学者的声誉，是靠研究成果自身是否过硬来获取的，是靠持续推动某个方向发展来获取的，是靠为学术界/产业界培养人才来获取的，而不是仅仅靠发表了几篇A几篇B而已。动不动就拿调整CCF列表说事儿，反而说明没有看到问题的本质。问题不在研究人员自身，而在制定研究人员评价标准的人身上。

总之，在发展中遇到的问题，应当在发展中解决，也会在发展中解决，关键是看发展趋势对不对、好不好。我觉得现在发展趋势挺好的，所谓“破局”之问，会在大家普遍能发表顶会论文之后迎刃而解。

作者：刘知远，清华大学教授

链接：https://www.zhihu.com/question/59002888/answer/161517810

来源：知乎

首先手工点赞刘知远老师的回答。其次，这种就是觉得 NIPS ICML比IJCAI AAAI强、并且声称不看某某会议的文章的行为，与被痛斥的某些审稿人不仔细看内容的行为，本质是一样的：不究其本里、只看某种表征最后，劝大家看开一点，会议的主要目的是交流，不是发大红花，毕竟绝大多数论文，不管是NIPS还是IJCAI，50年后都没人记得，做研究的，还是追求自我认同。

回过头再说两句，有人说“凭什么CCF推荐列表上某某会议是A某某会议是B某某会议是C，以我在某某领域做过这么多工作看过这么多文章发过这么多论文来看，某某会议就不应该是ABC”。既然都是行内人士了，难道对一个工作没有自己的评判吗，还需要用一个列表划分来评价文章吗。CCF列表从来都不是针对高水平研究者/研究机构，而是为全国服务的。在该列表的推动下，目前能认同高水平会议论文的学校越来越多，这就是它的意义所在。11年前我们投AAAI，没有CCF列表，论文发了毕业都用不上，但这不影响我对该会议是顶级会议的看法，现在也一样。

再回头说一句，从这个问题的回答来看，能够看清楚背后事理的比例超出预料，这也说明我国的研究水平提高了。什么论文是“水”，当水平是30分，看60分的论文觉得一点都不水，当水平到80分，即使看78分的论文也觉得水。这样的水未必是坏事。

作者：俞扬，南京大学计算机科学与技术系副教授

链接：https://www.zhihu.com/question/59002888/answer/163373207

来源：知乎

题主有此一问，说明他对学术灌水的深恶痛绝。有此情怀，先点个赞！

但需要讨论的是，什么是学术灌水？什么样的文章算有贡献，什么样的文章算灌水？我个人认为，在工程计算机领域，有重要贡献的文章有且仅有两类。

第一类是在可以预见的未来转化成生产力的。这样的文章可以不含一个公式，可以完全是基于直觉和经验，可以完全没有理论；一个简单的标准来衡量这类文章是：会不会有公司买它的专利，把它做成有竞争力的产品？在机器学习领域这类工作的一个例子是CNN。它的提出完全是基于直觉的认识，至今也没有严格的理论解释。但是它已经被实现到很多软件中。

第二类是那些可以增加人类对世界、或对某些技术问题本质的认知的文章。这样的文章通常是基于严谨的数学推导，有深刻的理论贡献。这类工作或许会在很长时间内无法直接转化成生产力，但它们可能会指导我们的实践，或最终转化成生产力。在机器学习领域这类工作的一个例子是VC dimension。VC 理论给出的 bound 通常要比我们实践中悲观得多，因而很少有人基于 VC 理论来设计模型。但VC 理论无疑是机器学习的重要 foundation。

如果仅仅以这两个标准来确定一篇文章是否属于灌水，那确实可以说 95%以上发表的文章都是水文。但是这样的标准或许过于苛刻。肯定CNN的重要也无需否认人类在它之前对神经网络循序渐进的摸索；肯定 VC dimension 也要认识到它的提出和发展其实也是基于对大量实验结果的观察和体会。科学的每一个突破都是积累出来的。在这个积累过程中，即使失败也常常是有意义的。

机器学习的今天，深度神经网络模型满天飞。相信这其中大多数都最终会被淘汰，只有极少数会留下来、会被重视、会被在产品中实现、会被继承发展。但如果没有这样大量的摸索，那些真正好的模型或许会需要更长时间才会被发现。所以在这个意义上，即使是那些被淘汰的模型，它们也在深度学习的发展史上起了作用。

当然也必须承认，学术界确实有很多水文，很多圈子，很多打招呼，很多互相引用，很多学术风气败坏。前几天 107 篇中国医学论文被撤稿，这样的学术风气当然不是中国医学领域独有，AI领域想必也有类似想象，只是用其他的形态表现出来而已。

回到题主原题，如何破解。俺的答案是，不用破解。

一个纯粹做学问的人，无需在意别人怎么样，会议怎么样，CCF 怎么样。放开功利心，做好自己；常常问问自己“我做的工作是不是有意义” 就行了。 虽然学术界喜欢说，publish or perish。其实我们不需要过分在意发文章。发文章只是做出工作后水到渠成的事。发了文章，未必有贡献; 没发表的工作，未必没贡献。比如 markov random field 文献中的 Hammersley-Clifford Theorem 一向被学界认为是 land mark，但它从来都没发表过。对此定理的所有引用都写着 “Hammersley and Clifford,  unpublished manuscript, 1971". 

所以没必要太关注发文章。放不下能不能发文章、在哪里发文章的纠结，其实还是在牵挂“功利”那两个字。（当然，大家都要食人间烟火；要毕业，要评职称。砸俺不是你的错，呵呵）。

作者：月光宝盒娱乐频道

链接：https://www.zhihu.com/question/59002888/answer/162285932

来源：知乎

“论文灌水”的根源可以追溯到学界由来已久的“Publish or Perish”这个问题。马斯克从他的角度出发，认为多数学术论文对于商业/产业无用，确实不无道理。学术研究者满足好奇心，探索自然的奥秘；而企业家、创业者则从社会实际需求出发，考虑产品服务和商业成功。我们真正应该关心的，是科研成果转化，尤其是人工智能技术落地的问题。

如今，中国在 AI 学术界论文实力已经获得国际同行认可，中国 AI 创业浪潮也十分火热。新智元期待看到更多中国原创 AI 技术的诞生和成功落地。