3000+ 人AI盛宴现场，CCF-GAIR开发者专场培训，NVIDIA 深度学习学院现场授课深度学习，提供NVIDIA认证证书。文末有福利，一起来学习吧
AI 科技评论按
：因为AlphaGo而名声大噪的人工智能公司DeepMind近期发表了一篇论文介绍自己在神经网络的解释性问题上最新探索。论文被ICML接受后，DeepMind的研究员们又写了一篇通俗的介绍文章让更多的人理解他们的方法和效果。
以下为 AI 科技评论对DeepMind介绍文章的翻译。
人类已经教会了深度神经网络做许多惊人的事情，从识别和推理图像中的物体，到在Atari游戏和围棋中发挥出超越人类的水平，不一而足。随着神经网络的结构和所做的任务变得越来越复杂，神经网络学到的解题方法也越来越难以被人类理解。
人们把这个问题称作“黑箱”。随着神经网络越来越多地参与解决现实世界中的问题，解决这个黑箱问题也变得越发重要。
为了能够了解和解释这些神经网络系统，DeepMind的研究人员们一直在探索新的工具和方法。最近ICML就收录了一篇来自DeepMind的论文，文中他们提出了一种新的、来自认知心理学的方法，来理解深度神经网络。认知心理学通过对行为的测量来推测认知过程的机理，有许多的认知心理学论文详细解释了这些机理，同时介绍了许多验证机理的实验方法。随着最新的神经网络在特定任务上达到人类水平，认知心理学的方法就能对解决黑箱问题起到不小帮助。
黑箱
DeepMind在论文中研究了一个具体案例来展现观点，他们设计了一个阐明人类的认知过程的实验，用来对比帮助理解深度神经网络如何解决图像分类任务。
结果是，认知科学家在人类身上观察到的行为，在这些深度神经网络中也能观察到。更进一步地，人们可以从这些结果中深入理解神经网络是如何解决图像分类任务的，这些理解不仅很有用，而且还令人惊讶。总的来说，这项案例研究的成功展现出了用认知心理学方法理解深度学习系统的潜力。
测量一次性词汇学习模型中的形状偏好
在DeepMind的案例研究中，他们思考了这样一个问题：人类小孩是如何识别并分类物体的，这个问题也在发展认知心理学中得到了丰富研究。小孩有从单个例子猜测单词意思的能力，人们称作“一次性词汇学习”，这种能力非常容易获得，人们也往往以为这个过程非常简单。然而，哲学家Willard Van Orman Quine提出过一个经典思想实验，展示出了这个过程到底有多复杂：
一位实地语言学家前去体验另一种文化，这种文化中使用的语言和他以前使用的完全不一样。这位语言学家就需要找肯帮忙的当地人教他一些单词。当有一只兔子跑过的时候，当地人说“gavagai”，语言学家就要猜当地人的这个词是什么意思。对语言学家来说，这个词可以指代的内容有很多种，可能是兔子、动物、白色的东西、特指这只兔子，甚至是兔子身上单独某个部位。实际上这个词可以代指的意象是无穷多的，人类是如何在其中选中正确的那个的呢？
“gavagai”
50年以后，面对着能够做一次性词汇学习的深度神经网络，同样的问题又出现在了人们的眼前。拿DeepMind开发的“匹配网络”举例，这个模型中用到了注意力模型和记忆模型方面的近期发展，达到了仅凭单张分类示例就可以对ImageNet图像进行分类的顶尖水平。但是我们并不知道网络在给图像分类的时候采取了怎样的假设。
为了深入探究这个问题，DeepMind的研究人员参考了一些发展心理学方面的研究。这些心理学家们发现了小孩有归纳偏好的证据。这种偏好可以消除很多不正确的指代，从而让他们找到正确的指代。这种偏好包括：
-
整个物体偏好
，小孩会假定一个单词指代的是整个物体而不是它的组成部分（消除了Quine对指代兔子身上单独某个部位的担心）
-
分类偏好
，小孩会假定一个单词指代的是一个物体所属的基础分类（消除了Quine对指代“全体动物”而不是“兔子”这个基础含义的担心）
-
形状偏好
，小孩会假定一个名词的含义是根据物体的形状而不是颜色或者纹理来确定的（消除了Quine对指代所有白色的东西而不是“兔子”这个具体对象的担心）
