Jack Clark：
为什么我们在开发AI系统时需要关注大脑？我们需要关注哪些方面？
Geoff Hinton：
主要原因是大脑是真正有智能的东西。到目前为止，大脑是我们唯一知道的聪明且通用的智能。第二个原因是，很多年来，一部分人认为我们应该关注大脑从而能让AI更好地工作，但他们并没有前行太远。在80年代他们有推进，但随后就停滞了。AI界的人们嘲笑他们说：“你不能通过研究大黄蜂来设计波音747客机”。但事实表明他们从大脑研究上取得的灵感对AI是非常有用的，而且没有这些灵感，他们也不会向那个方向去研究。这不仅仅是因为我们有一个智能的例子，还因为我们也有一个真正能工作的方法论的例子。我认为我们应该继续推进这个方向。
JC：
今天，诸如神经网络的现代分类器的各个方面看起来都有些类似于我们知道的大脑的视觉系统。受海马体的启发，我们也开发了记忆系统。还有其他的领域我们可以借鉴大脑，并从中获取灵感吗？比如脉冲刺激神经元？
GH：
我们真不知道为什么神经元要发脉冲。一个理论是它们想要噪声，以便正则化，因为我们的参数超过数据量。整个Dropout（丢弃部分参数，一种防止过渡拟合的技术）的思路就是如果你有噪音的激活，你就能承受使用一个更大的模型。这可能是为什么它们要发脉冲，但我们并不清楚是否真是这样。另外一个它们要发脉冲的原因可能是这样它们就能使用类似时间的维度，来在脉冲时编码一个真实值。这个理论已经出现有50多年了，但没人知道它是否正确。在某些子系统里，神经元确实是这样做的。这就像通过判断信号到达两耳的相对时间，从而就能获取方向。
另外一个领域就是在记忆部分。突触以许多不同的时间尺度和复杂的方式去适应。 目前，在大多数人造神经网络中，我们只有一个适应突触的时间尺度，以及一个激活神经元的时间尺度。我们没有这些中间时间尺度的突触适应，我认为这对于短期记忆将是非常重要的，部分原因是它给你一个更好的短期记忆容量。
JC：
在我们了解大脑的能力上有什么样的障碍？从而减缓我们受它启发来提出新思路的速度。
GH：
我认为如果你把一个电极插入一个细胞并从中记录信息，或是把电极放到细胞附近并从中记录，或是靠近很多的细胞并从其中一部分中记录，你可能无法理解一些可能通过光学染料很容易理解的事情，比如一百万个细胞正在干什么。在奥巴马大脑计划里有非常多的事情可提供给我们新的技术，从而让我们看到（并弄清楚）那些曾经非常难确立的事情。我们还不知道它们将会是什么，但我猜想这将会带给我们一些有趣的思路与想法。
JC：
因此，如果我们有足够大的神经网络，对于任何工作它能和人脑想匹敌吗？或还有什么我们遗漏的部件吗？
GH：
这取决于你所说的是什么具体工作。如果你所说的是像语音识别，那么如果一个真正大的网络能和人类相匹敌的话，我会非常惊喜的。我认为这就不会很差也不会太好。人类不是上限。我认为在语音识别上，如果在10年内，神经网络不能做到比人类更好，我也不会很惊讶。对于其他的领域，比如推理和从一个非常小的样本里学习，开发一个能匹敌人类甚至是超越人类的系统会花更长的时间。
JC：
现代的推断学习系统看起来有的一个问题，即了解问题的哪个部分值得专注去探索，由此你不必浪费时间在那些图像里不重要的部分。
GH：
这在视觉里也是一样的。人类做出了非常智能的定位，几乎所有的光学阵列从不会以高分辨力进行处理。而在计算机视觉里，人们一般会把整个阵列上的低分辨率、中分辨率和高分辨率都获取，并试图把这些信息整合起来。所以这就是我们碰到的同样的问题。你如何智能地定位在事物上？我们也将在处理语言时面对同样的问题。这是一个非常本质的问题，而我们尚未解决。
JC：
最近的一个讲演里，就你发表的一篇论文，你介绍了在神经网络里短期记忆权重修改的主题。你能解释一下这个论文以及为什么你认为这很重要吗？
GH：
在循环神经网络里，如果是处理一个句子，网络需要记忆到某个时间点句子里都有了什么内容。所有这些记忆都在隐藏层神经元的激活函数里。这意味着这些神经元必须被用来记忆内容，因此他们就不能用于当前的处理了。
