没有人真的知道先进的机器学习算法是如何工作的，而这恐将成为日后的一大隐忧。
去年，一辆奇怪的无人驾驶汽车出现在新泽西州蒙茅斯县的道路上。这辆由芯片制造商Nvidia开发的实验车和通用公司、Google和特斯拉所展示的自动驾驶汽车有所不同，该车的 AI 技术能力得到了大幅的提升。其中，最出彩的一点是它没有遵循由工程师或程序员所提供的指令，与之相反，它完全依赖一种通过观察人类行为来训练自己如何驾驶的算法。
从技术上来讲，无人驾驶是一项创举。但令人不安的是人类并不完全清楚汽车是怎么做出决策的。简单而言，来自车身上传感器的信息直接进入一个巨大的人工神经网络，然后这个神经网络处理数据，最后发出类似转动方向盘、踩刹车等命令。
这一结果似乎与人类驾驶员的动作反应一样。然而，如果有一天它做了一些意想不到的事情呢？例如失去控制撞上了一棵树，或者当红灯亮时却猛踩油门。
当然，我们现在还很难给出结论。因为这个系统太复杂了，即使是设计它的工程师可能也无法分析出它发出某一指令的原因。当然，你也不能强求这个神经网络能够给出它下达每一个指令的原因：因为目前为止还没有一套能够让AI自己解释自己行为的系统。
不过，Nvidia的这辆车却说明汽车的底层AI技术（也就是深度学习）近年来已经被证明是一项非常厉害并且高效的技术，它如今被广泛应用于图像字幕、语音识别和语言翻译等工作。现在，这项技术甚至被寄予厚望用于诊断致命的疾病，做出大宗贸易的决策等事情，彻底改变了各行各业原本的运作方式。
这种翻天覆地般的改变真的会发生吗？不会，或者说不应该发生。除非我们找到方法让深度学习进行自我解释，并且能够让它对它的用户负责。否则我们将很难保证基于深度学习的产品永远保持一个稳定的状态，这也就是 Nvidia 的这辆车仍然还是试验品的一个原因。
一直以来，数学模型已被用来帮助确定究竟谁可以被假释、谁可以被给予贷款以及谁可以被聘用。当然前提是你可以接触到这些数学模型，并了解它们的推理原因才行。但是银行、军方、雇主和其他人正在将注意力转向更复杂的机器学习，毕竟这样可以让他们作出的决策变得更加精准。
作为机器学习中最普遍采用的方法，深度学习代表了一个完全不同的计算机编程方式。麻省理工学院教授 Tommi Jaakkola 说：“逻辑解释已经是一个重要的问题，未来只会变得更加重要。因为无论是投资决策、医疗决策还是军事决策，用户都不希望只依靠‘黑匣子’，而想知道为什么神经网络会作出这一决策。”
目前已经有一种论点：审查人工智能系统如何作出相应的决策应该是一项基本的法律权利。从 2018 年夏天开始，欧盟可能要求公司能够向用户解释他们所使用的人工智能作出的决策。
然而，这并不现实，即使是使用深度学习来投放广告或是推荐歌曲那些相对简单的系统，对于我们人类来说，其背后的运行方式也难以理解。就算是创造出这些系统的程序员也没办法完全解释这些机器的行为。
那么问题来了，随着 AI 的进步，我们是否可以掌控它的发展节奏？但转念一想，人类其实也不能真正地理解并解释我们自己的思维过程，可这并不影响我们直观地信任并观察对方。那么，对于与我们思维方式不同的机器来说是不是也同样有这种可能？
历史上，人类从来没有创造过一个连创造者都不能完全理解的机器。但如今我们却在与这些难以预测的人工智能机器交流与相处中遇到了问题。这些问题让我走上了 AI 算法的极具挑战的前沿研究之路，从 Google 到 Apple 以及其他公司都是这条路的一部分，当然也包括当今世上伟大的哲学家们关于科技伦理的各种会议。
艺术家Adam Ferriss使用Google Deep Dream创作的图像
2015年，纽约西奈山医院的一个研究小组受到启发，将深度学习应用于医院庞大的患者记录数据库管理。在该数据集中，每个患者拥有上百个特征变量，包括医疗测试结果、医生访查等等。被研究人员命名为 Deep Patient 的这个程序使用来自约70万个人的数据进行训练，在新患者资料上进行测试时，它显示出极强的疾病预测能力。
没有任何医疗专家的指导，Deep Patient 发现了隐藏在数据中的规律，这些数据规律显示出人类会在什么时间段会逐渐得病。该研究小组的负责人Joel Dudley表示，目前有很多方法可以根据患者医疗数据进行很准确疾病预测。但他补充说：“相比起来，深度学习是一种更好的方法。”
同时，Deep Patient得出的结论有点令人费解——它似乎在预测精神分裂症等精神类疾病上表现尤其出色。众所周知，处理精神分裂症对于医生来说是非常困难的，所以 Dudley 很想知道为什么 Deep Patient 在这方便这么厉害，然而至今他也还不知道原因。
对于它是如何进行预测的，这个新工具并没有表现出任何的技术原理。如果像 Deep Patient 这样的工具确实能帮助到医生，那么理想的情况就是给出它预测的理由，让医生确信它是准确的。“我们可以建立这些模型”，Dudley说，“但我们不知道他们是如何运作的”。
但人工智能并不是生来就带有神秘感。从一开始，对于理解和解释AI就有两派说法。一些人认为应该根据规则和逻辑推理的来建造人工智能，这种机器的内部工作原理对任何关心它的人都应该是透明的。
另一些人认为，如果机器可以从生物学中获得灵感，通过观察和体验学习，“智能”就会更容易出现。这意味着程序员不用编写命令来解决问题，而程序会根据示例数据和期望输出生成自己的算法。后来演变成当今最强大的AI系统，机器学习技术遵循的是后一条路径：机器本质上是自己对自己进行编程。
起初，深度学习的实际应用是有限的。在20世纪60年代和70年代，它仍主要局限于相关领域的边缘。后来，许多行业的办公自动化和大数据的出现又引起了人们对它的兴趣。这激发了更强大的机器学习技术发展，特别是人工神经网络。到 20 世纪 90 年代，神经网络已经可以自动将手写字符转换成数字化的字符。
但是直到近 10 年，经过几次巧妙的调整和改进，深度神经网络在自动感知方面出现了显著提升。深度学习造就了如今红爆半边天的AI。它赋予了计算机非凡的力量，使得计算机可以像人类一样识别出我们口中的各种语言。深度学习彻底改变了计算机视觉，大大提高了机器翻译的准确度。如今它正用于指导医药、金融、制造业等方方面面的各种关键决策。
艺术家Adam Ferriss使用谷歌 Deep Dream 创作的图像
任何机器学习技术的工作本质都比手工编码系统更不透明，甚至对计算机科学家来说也是这样。这并不是说，所有未来的AI技术也将同样如此。但是由于它的本质，深度学习就是一个特别不透明的黑匣子。
你不能只是看一下神经网络的内部就可以知道它是如何工作的。神经网络是由成千上万个神经元的构成，它们排列成数十甚至上百个错综复杂的互连层。第一层中的神经元各自接收输入信号，例如图像中像素的强度，然后在输出新信号之前进行计算。这些输出在复杂网络中被当做输入传入下一层中的神经元，就这样一层一层传递，直到产生总体输出。
此外，还有一个被称为“反向传播”的过程，这是一种通过反馈调整单个神经元，使得网络可以产生期望输出的算法。
深度神经网络中的许多层可以识别出不同抽象层次的特征。举例来说，在一个识别狗狗的系统中，较低的几层通常识别出简单的特征，例如轮廓或颜色；更高的层可以识别更复杂的特质，例如毛皮或眼睛；输出层将其全部标识为狗。简单来讲，同样的方法可以有不同的应用：自然语言处理或是自动驾驶。
现在研究人员已经使用各种巧妙的策略来更详细地解释这样的系统内部到底是怎么运作的。 2015 年，Google的研究人员修改了基于深度学习的图像识别算法，使它根据这些每层学习到的特征生成原始输入图片，而不是把识别到的物体在图片中标注出来。通过运行这样的逆向算法，他们发现了程序用来识别的特征，比如鸟和建筑物。
由一个名为 Deep Dream 的程序产生的图像显示，由云和植物等特征生成的原始图片竟然是一些奇形怪状像外星生物的动物，森林和山脉的特征最终生成的是幻像塔。这些图像证明，深度学习不一定是完全不可解释的。
研究人员透露，这个算法主要归功于熟悉的视觉特征，例如鸟的喙和羽毛。但是，这些图像也暗示了人类与机器学习的不同之处，因为深度学习可以注意到一些我们人类容易忽略的特征。Google 研究人员指出，当这个算法生成哑铃的图像时，它也同时生成了一个举着它的人类手臂。显然机器得出了一个结论：手臂是这个哑铃的一部分。
神经科学和认知科学的思想使得研究 AI 内部运作原理取得了进一步的进展。由怀俄明大学助理教授 Jeff Clune 领导的一个团队，采用等同于光学幻觉的 AI 来测试深度神经网络。在 2015 年，Clune的小组展示了某些图像可以愚弄一个神经网络，让它感知到了实际不存在的东西，因为这些图像利用了系统搜索的低级模式。
Clune的合作者之一，Jason Yosinski也制作了一个工具：类似一枚插在大脑中的探针。这个工具的目标对象是网络中间任何一个神经元，找到使它激活最显著的那幅图像。最终显示的这幅图像是抽象的（想象一幅印象派的画作），这也突出了机器感知能力的神秘性质。
早期人造神经网络
我们需要特别地关注 AI 的思维模式，然而目前并没有一个简单的解决方案。深度神经网络中计算的相互作用对于更高层次的模式识别和复杂的决策是至关重要的，但是这些复杂的计算正是我们理解它的困难之处。“如果你有一个非常小的神经网络，你也许可以理解它”，Jaakkola说。“但是，一旦它变得非常大，它每层有数千个神经元，然后一共有数百层，那么这样的神经网络是完全无法理解的。”
在 Jaakkola 办公室旁边的是麻省理工学院教授 Regina Barzilay，她决心将机器学习应用到医学场景。几年前，在43岁时她被诊断患有乳腺癌。诊断本身让她非常震惊，但是令Barzilay同样感到失望的是，前瞻性的统计学和机器学习方法没有被用来帮助肿瘤研究和指导病人进行治疗。
她说，AI 具有巨大的医学革命潜力，但要实现这一潜力则需要除了医疗记录以外更多的数据。她设法使用更多的原始数据，但图像数据、病理数据以及其他各种信息目前并不容易搞到。
去年完成癌症治疗后，Barzilay和她的学生开始与马萨诸塞州总医院的医生合作开发出一个数据挖掘系统，通过分析患者的病理报告来确定研究人员想要研究的特定临床特征。然而，Barzilay心里明白，这个系统需要解释它的推理过程。
所以，她与Jaakkola和一名学生增加了一个步骤：系统提取并标注出一个文本片段，这个文本片段代表着机器挖掘出的一种模式。
Barzilay和她的学生们也在开发一种能够在乳房X光照片图像中发现乳腺癌早期症状的深度学习算法，并且给予这个系统一些“解释其如何推理”的能力。“人类真的需要和机器不断地合作”，Barzilay说。
美国军方向使用机器学习的项目投资了数十亿美金，这些项目包括为车辆和飞行器导航、确定攻击目标并帮助分析人员筛选大量情报数据。然而，这些项目所用到的机器学习同样不能解释作出决策的推理过程，美国国防部已将机器学习的不可解释性定性为“关键的绊脚石”。
国防高级研究计划署（DARPA）的项目经理 David Gunning 正在监督一个名为“可解释的人工智能”计划。作为这个部门的资深工程师，Gunning曾经监督过一个 DARPA 项目，而这个项目最终创造了Siri。
Gunning表示，自动化决策正在进入各种军事领域。情报分析员正在测试一个机器学习项目，作为识别与分析大量监控数据的模式。军方也正在开发与测试许多无人驾驶的地面车辆和飞机。然而，士兵们可能会对机器人坦克感到不太舒服，因为这些机器人坦克并不能向士兵们解释自己的作战行为，分析人士也不愿意在没有推理过程的情况下采取行动。
“这些机器学习系统的性质通常会产生大量的虚假警报，所以 Intel 的分析师真的需要作出额外的努力，来帮助人们理解这些机器的决策是如何作出的。”Gunning说。
今年 3 月，DARPA 为 Gunning 的这个“可解释的人工智能”计划挑选了 13 个来自学术界和行业的项目。这些项目中的一些人可以在华盛顿大学教授Carlos Guestrin领导下继续开展工作。
Adam Ferriss受启发后的作品
Guestrin教授和他的同事们为机器学习系统研发了一种能够解释其决策的算法。在这种方法下，计算机会自动从数据集中找到几个示例并简短地解释它们。例如，筛选电子邮件中来自恐怖分子的邮件。这个系统可能会在其训练和决策过程中使用数百万条消息。但是运用华盛顿大学团队的方法，它可以高亮显示某条电子邮件中的某些关键字。
Guestrin团队还设计了一套图像识别系统，其可以高亮显示出原始图像中对神经网络最后做决策时影响最大的部分。
然而，这种方法的一个缺点是神经网络所提供的解释将始终是简化的，这意味着一些重要的信息可能会丢失。“我们还没有实现完整的目标，也就是 AI 可以与人类进行交流，并且能够解释它的决策行为”，Guestrin说，“我们距离真正能够完全解释AI还有一段很长的路要走”。
目前，“AI的可解释性”问题并非只存在于高风险的情景（像癌症诊断或是军事演习）。如果日后AI成为我们日常生活中密不可分的一部分，那么了解它的决策原因也将是至关重要的。领导苹果Siri团队的Tom Gruber说，可解释性是他的团队的一个关键考虑因素，因为它试图使Siri成为一个更聪明，更有能力的虚拟助手。
Gruber 没有讨论 Siri 未来的具体计划，但是我们可以很容易想像，如果用户收到 Siri 的餐厅推荐，用户想知道为什么 Siri 这么推荐。Apple 的 AI 研究总监和卡内基梅隆大学的副教授Ruslan Salakhutdinov认为，AI的可解释性是人与智能机器关系发展的核心，可解释性将会带来信任。
其实，很多的人类行为也是不能够被详细解释的，因此我们更不能期望AI可以解释它所做的一切。怀俄明大学的Clune教授说：“即使有人可以给你一个合理的解释（对于他或她的行为），这个解释也可能是不完整的，对于AI同样如此。它的智力本质和人类相似，只有其中的一部分才能被理性地解释。另一部分只是本能反应，或者是潜意识。”
如果是这样，那么在某些阶段我们可能要么简单地信任 AI 的判断，要么就不使用它。同样这一判断将必须纳入社会情报。正如社会的建立与运行是基于对人类行为的规范束缚，今后的AI系统需要尊重和符合我们的社会规范。如果我们要创造机器人坦克和其他杀戮机器，那么它们所做的决策应该与我们的道德判断相一致。
为了探索这些形而上学的概念，DT君的美国同事 Will Knight 去了塔夫茨大学，与著名哲学家和认知科学家 Daniel Dennett 会面，他主要研究意识和心灵。
Daniel Dennett 最新的一本书《从细菌到巴赫》（From Bacteria to Bach and Back）表明，智力进化的一个本质特征是进化到一个系统，这个系统中即使创造者都无法解释它某些行为的原因。Dennett 表示：“我们做事情一定要保持明智，我们对人工智能有什么标准？对我们人类自己又是什么标准？”
同时，他还有一个关于追求 AI 可解释性的警告。他说：“我认为，如果我们要使用 AI 技术并依靠它们，那么我们还是要尽可能地理解AI作出决策的原因和过程。”但由于可能没有完美的答案，我们则应该像人类对彼此那样谨慎来对待AI——无论机器看起来有多聪明。
“如果在解释 AI 的行为上，AI自己都不如我们解释得好的话，那就不要信任它了。”
编辑：王凯立
英文原文链接：
https://www.technologyreview.com/s/604087/the-dark-secret-at-the-heart-of-ai/
MIT Technology Review 中国唯一版权合作方，任何机构及个人未经许可，不得擅自转载及翻译。
分享至朋友圈才是义举
一个魔性的科幻号，据说他们都关注了
