大数据文摘作品
编译：冯琛、Aileen
在刚过去的ICLR会议中，谷歌人工智能研究员Ali Rahimi批评了整个机器学习行业对经验法则、试错法和迷信的过分依赖。
去年12月，谷歌公司的人工智能（AI）研究员Ali Rahimi在NIPS大会的演讲中
批判了自己的研究领域
，他说，
计算机通过尝试和错误进行学习的机器学习算法已经成为“炼金术”的一种。
研究人员其实并不知道为什么某些算法行之有效，而其他算法徒劳无益，他们也没有严格的标准来界定AI架构的选择。
因此，他获得了现场观众长达40秒的欢呼。
4月30日，
Rahimi
在加拿大温哥华召开的国际学习表征会议（ICLR）上再次强调了他的观点。在他和同事发表了名为《
赢家诅咒？关于速度、进步与经验主义）
Winner's Curse? On Pace, Progress, and Empirical Rigor
》
的
论文中，他们记录了“机器学习炼金术化”的相关案例，并提供了加强AI严谨性问题的解决方案。
这篇论文被选进今年ICLR的workshop
公众号后台对话框内回复
“炼金术”
即可下载这篇论文~
Rahimi说：“人工智能领域存在一种‘痛苦’。
我们中有很多人都感觉自己使用的是外星技术。”
现代科学中，炼金术常被用来比喻缺乏科学严谨性，没有明确理论基础支持，知其然而不知其所以然的研究工作。
炼金术是中世纪的一种化学哲学的思想和始祖，是当代化学的雏形。其目标是通过化学方法将一些基本金属转变为黄金，制造万灵药及制备长生不老药。现在的科学表明这种方法是行不通的。现代分析心理学的创始人卡尔•古斯塔夫•荣格认为，古代的炼金术实际上是一种人以自己的心灵发展为参照，对自然界现象的投射行为。
——维基百科
“炼金术问题”和“AI的可重复性问题”不同：
可重复性问题是指研究人员因为实验的不连续性和研究过程公开实践不一致性，导致无法重复彼此的研究结果。
“炼金术问题”和机器学习中的“黑箱问题”及“可解释性”问题也有区别
：后者是指，难以解释特定的AI如何得到其结论。
就像Rahimi所指出的，是“
某个机器学习系统
是一个黑箱
”和“整个领域都变成了黑箱
”的区别。
如果没有深入理解构建和训练新算法所需的基本工具，创造AI的研究人员就会像中世纪的炼金术士那样诉诸传闻。François Chollet是一位来自加州山景城的谷歌计算机科学家，他补充道：“人们崇拜草包族科学，依靠民间传说和魔法。”
（文摘菌：有关草包族科学，可以看看《别闹了！费曼先生》）
例如，采用一些小算法来调整他们的AI的“学习率“——算法在每次错误后可以自行纠正——而不理解为什么一个结果比其他的好。在其他情况下，AI研究人员对算法的训练更像只是在黑暗中蹒跚而行。
例如，实现了所谓的“随机梯度下降”，以优化算法的参数以尽可能降低故障率。然而，目前尽管有成千上万的学术论文和数不清的方法应用，整个研究过程还是依赖于尝试和错误。
梯度下降依靠尝试和错误来优化算法，图为在3D景观中寻找最小值。
Rahimi的论文强调了那些可能出现的精力浪费和次优表现。例如，论文指出，当其他研究人员对一个最先进的语言翻译算法进行大量训练后，简化后的算法其实更好，它能更高效地将英语翻译成德语或法语，这表明算法的原来创作者并不了解那些可以被简化掉的额外部分到底有什么用。
不过，在伦敦的推特机器学习研究人员Ferenc Huszár说，有时候算法里花里胡哨的东西才是唯一好的部分。在某些情况下，一个算法的核心在技术上存在缺陷，这意味着，这算法能有还不错的结果完全归功于其他应用在表面上的技巧。
Rahimi提供了一些关于了解哪种算法效果最好以及什么时候效果最好的建议。他认为，对于初学者来说，研究人员应该像研究翻译算法一样进行“排除法研究”：每次删除一部分算法，以查看每个部分的功能。
他
呼吁进行“切片分析”，其中详细分析了算法的性能，以了解某些部分的改进可能会在其他地方付出代价。
