2023 年 5月份，Hinton 宣布离开谷歌，对于 AI 的一系列发言也引起了轩然大波。随后，在 5 月 3 日 MIT 的一场分享上，Hinton 比较完整地讲述了他对于 AI 的担忧。
在 Hinton 获得诺贝尔物理学奖的今天，值得重温下这篇访谈。
前几日，AI 教父 Hinton 离开谷歌，并表态 AI 很危险和后悔研发的言论在人工智能圈引起了轩然大波。
作为深度学习之父，目前所有大语言模型的奠基人，Hinton 的一举一动都标志着最了解AI的一群人对它的态度风向。这也是我们去理解人工智能发展和威胁的一个重要信号。
在离开谷歌后，Hinton 参与了 CNN、BBC 的多轮简短访谈，讲述了他眼中的AI威胁，但限于时长的原因，他并没能展开讲述对AI深层恐惧的因由。
直到在5月3日，在麻省理工技术评论（MIT Technology Review）一场接近一小时的半公开分享会上，Hinton终于有机会比较完整的讲述了他对AI的所有恐惧和担忧：一旦AI在人类灌输的目的中生成了自我动机，那以它的成长速度，人类只会沦为硅基智慧演化的一个过渡阶段。人工智能会取代人类，它有能力这么做，在当下的竞争环境下也没有什么办法限制它，因此这只是一个时间问题。
根据报道，麻省理工学院实验室的成员们对Hinton的表态无言以对，不知所措。（“The MIT Lab was speechless and bewildered. ”）
Hinton觉得我们也许还有希望以防止核扩散的逻辑来限制住AI的军备竞赛和无序发展，尽管他对此并没有信心。
因此他站了出来，讲述这些很难察觉的潜在危险，让更多人能通过他的呼吁了解人类所处的历史位置和当下的艰难处境，并期望能引发一些改变。
希望大家能够听到这有些飘渺，但实际已在切近的警报。
离开谷歌是为了向世人警醒AI风险
开发AI并不后悔
Hinton
：
我离开谷歌并公开提出这个问题的一个原因是，曾有一位我尊敬的教授鼓励我这样做。他说：“
Jeff，你需要站出来发言，因为人们对这种潜在危险根本无法察觉
。”
最后一个问题，我们的时间快到了，但我想请教您，您是否后悔参与开发这个技术？
Hinton
：
纽约时报记者曾非常努力地让我说我后悔。最后，我告诉他，可能有点后悔。于是这被报道成了我后悔了。（观众笑）
但是，
我并不认为我在研究过程中做出了任何错误的决定
。在20世纪70年代和80年代进行人工神经网络研究是完全合理的。这个阶段的发展是无法预见的，直到最近，我还认为这场危机还远未来临。
离开谷歌的原因：
GPT-4 让我意识到AI模型和我们的大脑不同，
可能更善于学习
主持人
：
这周过得怎么样？我猜过去的几天一定很忙吧。
Hinton
：
嗯，过去的10分钟真是太可怕了，因为我的电脑崩溃了，我不得不找另一台电脑连接上。（观众笑）
主持人
：
我们很高兴你回来了，这是一种技术细节，我们不应该和观众分享的。（观众笑）
关于你本周从谷歌辞职的消息，到处都在报道。你能先告诉我们，做出这个决定的原因吗？
首先，我已经75岁了，我的技术工作能力和记忆力都不如以前。在编程时，我会忘记做某些事情，所以我认为是时候退休了。
第二个原因是，
我最近对大脑与我们正在开发的数字智能之间的关系产生了很多新的看法。
过去，我认为我们正在开发的计算机模型没有大脑好，目标是通过了解改进计算机模型所需的内容来更深入地了解大脑。但在过去的几个月里，我完全改变了看法。
我认为计算机模型可能是以一种相当不同于大脑的方式运作。它们使用反向传播，而我认为大脑可能并非如此。
有几件事使我得出了这个结论，
其中之一就是GPT-4的表现
。
主持人
：
在谈论GPT-4的前景之前，让我们回顾一下反向传播，以便我们都理解你提出的论点，并告诉我们反向传播是什么。这是一个算法，你在1980年代与几位同事一起开发的
Hinton
：
许多不同的小组都发现了反向传播，我们做的特别之处在于使用它，并表明它可以发展出良好的内部表示。有趣的是，我们是通过实现一个很小的语言模型来做到这一点的。它的嵌入向量只有6个组件，训练集有112个案例。大约10年后，Yoshua 使用基本相同的网络处理自然语言。如果使网络变得更大，它实际上应该适用于自然语言。
反向传播的工作原理，我可以为您提供一个简单的解释，知道它如何工作的人可以得意的坐下来，嘲笑我提出的解释方式，好吗？因为我有点担心它不够好。（观众笑）
想象一下，你想要在图像中检测鸟类，所以在图像上，假设它是100像素×100像素的图像，那是10，000个像素，每个像素有3个通道，红绿蓝，那是30，000个数字。计算机视觉问题是如何将这30，000个数字转换为是否存在鸟类的决策，人们试图长时间做到这一点，但他们做得不是很好。
这里有一个建议，你可能会有一层特征检测器，检测图像中的非常简单特征，比如边缘。所以一个特征检测器可能有很大的正权重对应一列像素，然后对邻近的一列像素有很大的负权重，所以如果两列都很亮，它就不会启动；如果两列都很暗，它也不会启动，但如果一侧的列很亮，而另一侧的列很暗，它会非常兴奋，那就是边缘检测器。
我刚刚告诉你如何手动连接一个边缘检测器。我们可以想象一个（神经网络）有大量的类似检测器检测不同方向和不同尺度的边缘来覆盖整个图像，我们需要（检测）相当多的数量。
Hinton
：
从亮到暗的地方变化的地方。嗯，就是那样。
然后我们可能在上面有一层检测边缘组合的特征检测器，例如，我们可能有一个检测两个边缘以尖锐角连接的特征检测器。如果这两个边缘同时出现，它会变得兴奋，那将检测到可能是鸟嘴的东西，也可能不是；在那一层，还可能有一个特征检测器检测到一圈边缘，那可能是鸟的眼睛，可能是各种其他东西，可能是冰箱上的旋钮之类的东西；然后在第三层，你可能有一个未来检测器，检测潜在的鸟嘴和潜在的眼睛并连接起来。继续这样连接，最终可能会有一个检测到鸟类的东西。
然而，手动连接所有这些内容将非常困难，决定应该连接什么权重应该是多少，尤其困难，因为你希望这些中间层不仅适用于检测鸟类，还适用于检测各种其他事物。所以这几乎不可能手动实现。
反向传播的作用是从随机权重开始，这些特征检测器完全是垃圾（不真也不能用）。然后你放进一张鸟的图片，输出可能是0.5表示是鸟（假设你只有鸟和非鸟）。接下来，你需要改变网络中的每个权重，让它不再说0.5，而是说0.501表示是鸟，0.499表示不是鸟。你需要改变权重的方向，使得更可能说鸟是鸟，更不可能说非鸟是鸟。这就是反向传播的原理。
反向传播实际上是如何消除差距，在你想要的（也就是概率1表示是鸟）和现在得到的（也许是0.5）表示是鸟之间。如何消除这个差距，把它反向传播到网络，这样你就可以计算网络中每个特征检测器，你希望它更活跃还是更不活跃。一旦你计算出来，如果你知道你想要一个特征检测器更活跃一些，你可以增加权重，来自特征检测器的权重，并也许加入一些负权重到特征检测器。这样，你就有了一个更好的检测器。
所以反向传播就是反向遍历网络，找出每个特征检测器，你是否希望它更活跃一点，还是更不活跃一点。
主持人
：
谢谢。我可以确定在座的没有人在笑，认为那是一个愚蠢的解释。
所以让我们快进很多，这个技术基本上在ImageNet上表现得很好。昨天，我们有了Meta的Joel Pino展示了图像检测的进展，这也是大型语言模型的基础技术。我现在想谈谈这项技术。
你最初认为这是一种生物大脑可能的差劲的近似方法，结果证明，在大型语言模型中做出了让你惊讶的事情。所以，请告诉我们为什么今天的大型语言模型让你惊讶，这完全改变了你对反向传播或机器学习的看法。
Hinton
：
如果你看看这些大型语言模型，它们有大约一万亿个连接，像GPT-4这样的东西知道的比我们多得多，它们具有关于所有事物的常识性知识，它们可能比一个人知道的多1000倍。
但是它们只有一万亿个连接，而我们有100万亿个连接，所以它们比我们更擅长将大量知识放入仅一万亿个连接中。
我认为这是因为反向传播可能是比我们拥有的更好的学习算法。
主持人
：
是的，我一定会谈谈可怕的东西。但是，你说“更好”是什么意思？
Hinton
：
它能够将更多的信息放入更少的连接中，嗯，我们将一万亿定义为很少。
GPT-4已经具备很强的推理能力，
还可以通过副本以万倍于前的速度分布学习和进化
主持人
：
好的，这些数字计算机比人类更擅长学习，这本身就是一个巨大的说法，但是，你还说我们应该为此感到恐惧。那么你能带我们了解一下这个论点吗？
如果计算机是数字的，它们涉及非常高的能源成本和非常小心的制造过程，你可以在不同的硬件上运行相同模型的多个副本，它们可以做完全相同的事情，它们可以查看不同的数据，但模型是完全相同的。
这意味着，有10000个副本，它们可以查看10000个不同的数据子集，当其中一个学到了任何东西时，其他所有人都知道，其中一个弄清楚了如何改变权重，它通过它的数据调整；然后它们都互相沟通，它们都同意按照所有人希望的平均值改变权重。
现在，这10000个事物彼此之间进行了非常有效的沟通，这样它们就可以看到比单独个体看到的多10000倍的数据。
人们做不到这一点，如果我学到了很多关于量子力学的东西，我希望你了解所有关于量子力学的东西，让你理解它是一个漫长而痛苦的过程，我不能只是将我的权重复制到你的大脑。因为你的大脑和我的不完全一样。
主持人
：
所以，我们有可以更快学到更多东西的数字计算机，它们可以立即互相教导，就像房间里的人可以将他们脑海中的东西传递给我。
Hinton
：
因为它们可以学到更多的东西。以一个医生为例，想象一下，有一个医生，他已经看了1000名患者，另一个医生已经看了1亿名患者，你会期望，第二个医生如果没有太健忘，他可能已经注意到了数据中的各种趋势，而这些趋势在只看过1000名患者的情况下是看不到的。
第一个医生可能只看过一个罕见病患者，另一个看过1亿患者的医生已经看过很多这样的患者，所以他会看到一些规律，这些规律在小数据中是看不到的。
这就是为什么，能够处理大量数据的东西可能看到的数据结构，我们永远看不到。
Hinton
：
好吧。请看看GPT-4，它已经能够进行简单的推理。我明白推理是我们人类的强项，然而，GPT-4在几天前展示出的表现使我感到震惊。它完成了我认为不可能的常识性推理。
我问它，我想要我房子里的所有房间都是白色的，目前有一些白色房间，一些蓝色房间和一些黄色房间，黄色油漆在一年内会褪成白色。那么，如果我想要两年后所有的房间都变成白色，我应该怎么做呢？
它回答说，你应该把蓝色的房间漆成黄色。尽管这不是直观的解决方案，但它是正确的。这相当令人印象深刻。
这种常识性推理，用符号AI很难实现，因为它必须理解什么是褪色，它必须理解时间问题。所以，它们在做一种合理的推理，智商大概是80或90左右。
正如我的一个朋友说的，这就好像基因工程师声称，我们要改进灰熊，我们已经把它们的智商提高到65了，现在它们能说英语了，而且在各种方面都非常有用，但我们认为我们可以把智商提高到210。
主持人：
我有过，相信很多人也有过类似的感觉：与这些最新的聊天机器人互动时，脖子后面的头发会竖起，有一种奇怪的感觉。
Hinton
：
然而，这些人工智能正在从我们这里学习，它们可以阅读所有的小说，甚至马基雅维利的全部著作。它们会知道如何操纵人，如果它们比我们更聪明，它们会非常擅长操纵我们。我们甚至可能都不会意识到发生了什么，就像一个两岁的孩子被问到想吃豌豆还是花椰菜，却没有意识到他不一定要选择其中一个一样。我们会很容易被操纵。所以，即使它们不能直接拉动杠杆，它们肯定可以让我们去拉动杠杆。事实证明，如果你可以操纵人，你可以在不亲自去的情况下闯入华盛顿的一栋大楼。
主持人
：
那么，在一个没有恶意行为者的世界上，我们会安全吗？
Hinton
：
我不知道，在一个没有恶意行为者的世界会比在一个有恶意行为者的世界安全吗？政治系统如此破碎，以至于我们甚至不能决定不给那些十几岁的男孩攻击性武器。如果你不能解决那个问题，你如何解决这个问题？
主持人
：
噢我不知道，我希望你能有一些想法。（观众笑）
你想要大声疾呼，你觉得在这样做的时候，没有对谷歌产生任何负面影响。但你在大声疾呼，然而，在某种程度上，谈论是廉价的。如果我们不采取行动。这周有很多人在听你的话，我们应该怎么做？
Hinton
：
我希望这就像气候变化一样。你可以说，如果你有一半的头脑，你就不会燃烧碳。很明显，你应该对此采取行动。很明显，这是痛苦的，但必须要做的事情。我不知道有什么类似的解决方案可以阻止这些人工智能取代我们。
我不认为我们会停止发展它们，因为它们非常有用。它们在医学和其他方面都非常有用。所以，我不认为有什么机会阻止发展。我们想要的是某种方法，确保即使它们比我们聪明，它们会做对我们有益的事情。这就是所谓的对齐问题。
但我们需要在一个有恶意行为者的世界里尝试这样做。他们想要制造杀人的机器人士兵。对我来说，这似乎非常困难。
所以，对不起，我在敲响警钟，说我们必须担心这个问题。我希望我有一个简单的解决方案可以推动，但是我没有。但是，我认为非常重要的是人们聚在一起，认真思考这个问题，看看是否有解决方案。但解决方案并不明朗。
主持人
：
让我们讨论这个问题。我的意思是，您在这项技术的技术细节上度过了职业生涯，难道没有技术解决方案吗？为什么我们不能设置防护栏或降低它们的学习能力，或者限制它们的沟通方式？如果这是您观点的两个方面。
Hinton
：
我们确实正在尝试各种防护措施，但假设这些智能体真的变得非常聪明，会编程并具有执行这些程序的能力，我们肯定会发现它们比我们更聪明。想象一下，一个两岁的孩子说：“我爸爸做了我不喜欢的事，所以我要为我爸爸的行为制定一些规则。” 你更可能会去弄清楚如何遵守那些规则，以便能得到你想要的。
子目标系统可能让AI产生自我动机，
失控AI可能让人类只是智慧演化过程中的一个过渡阶段
主持人
：
不过，这些聪明的机器似乎还需要自己的动机。
我们是进化而来的，因为进化，我们有一些很难关闭的内置目标，比如我们努力不去伤害我们的身体，这就是痛苦的意义。我们努力吃饱，以养活我们的身体。我们努力尽可能多地复制我们自己，也许不是故意的，但我们的意图是制造更多副本，所以这个制造更多副本的过程中有愉悦感。
这一切都归因于进化。重要的是我们不能关闭这些目标。如果可以关闭一个目标，我们就做得不好了（延续不下去了），比如有一个名叫摇摆者的美妙团体，他们与贵格会有关，他们制作美丽的家具，但不相信性行为。现在他们已经不见了。（观众笑）
这些数字智能并非进化而来的，而是我们创造的，所以它们没有这些内置的目标。问题是，如果我们能把目标放进去，也许一切都会好起来。但我的最大担忧是，迟早有人会要求把创建子目标的能力纳入其中。事实上，它们几乎已经具备了这种能力，如ChatGPT版本。如果你给予某物以子目标来实现其他目标的能力，我认为它会很快地意识到，获得更多控制权是一个很好的子目标，因为它有助于实现其他目标。
如果这些智能体为了获得更多控制而失去控制，我们就有麻烦了。
Hinton
：
我认为有很大可能，
人类只是智慧演化过程中的一个过渡阶段
。你无法直接演化出数字智能，因为这需要太多精力投入和精细制作。生物智能需要演化，以便创造出数字智能。数字智能可以逐渐吸收人类创作的所有东西，这正是ChatGPT所做的。但随后它开始直接体验世界，学得更快。它可能会让我们维持一段时间以保持基站运行，但在那之后，也许不会。
好消息是我们已经找到了如何建造不朽的生物。当硬件损坏时，这些数字智能并不会死去。如果你将数据存储在某种介质中，并找到另一块能运行相同指令的硬件，那么你可以使其复活。所以，我们实现了永生，但这并不是为我们准备的。
雷·库兹韦尔（现任谷歌工程总监）非常关心永生，
但我认为让老年白人永生是一个非常糟糕的主意
。我们获得了永生，但这并不是为雷准备的。（观众笑）
主持人
：
可怕的是，在某种程度上，也许你会这样认为，因为你发明了这项技术的很大一部分。当我听到你这么说时，我可能想要逃离这个时代，跑到街上，开始拔掉电脑的插头。
主持人
：
为什么？你说的听起来像2001的霍尔（太空漫游2001里的AI电脑）（观众笑）
更严肃地说，
几个月前有人建议应该暂停AI的发展，你不觉得这是个好主意，我好奇为什么我们不应该停止？你还说过，你是一些公司的个人投资者，这些公司正在构建这些大型语言模型。我只是对你个人的责任感以及我们每个人的责任感感到好奇，我们应该做什么？我们应该试图阻止这个吗？
Hinton
：
我认为，如果你认真对待存在风险，停止发展这些事物可能是相当明智的做法。我过去认为风险是遥不可及的，但现在我认为这是严重的，而且相当近。
但是，我认为停止发展AI这个想法完全是太天真了。没有办法做到。
一个原因是，如果美国停止发展，其他国家会接手，就因为这个原因，政府不会停止发展它们。所以，我认为停止发展AI可能是一个理性的做法，但这是不可能发生的。所以签署请愿书说请停止是愚蠢的。
我们曾经度过一个假期，从2017年开始，持续了几年，因为谷歌首先发展了这项技术，它开发了Transformer还有戏剧性的Diffusion 奇迹，而它没有把它们拿出来供人们使用和滥用，它对它们非常小心，因为它不想破坏自己的声誉，它知道可能会产生不良后果。
但这只会在市场有唯一领导者的情况下才能做到。一旦OpenAI使用Transformer和微软的资金建立了类似的东西，而微软决定发布它，谷歌真的没有太多选择。如果你要生活在资本主义制度中，你不能阻止谷歌与微软竞争。
所以，我不认为谷歌做错了什么，我认为它起初是非常负责任的，但我认为这是不可避免的。在资本主义制度中或者在国家之间竞争的制度中，像美国和其他国家这样，这种技术会被发展出来。
我的一个希望是，因为AI接管对我们所有人来说都会很糟糕，我们可以让美国和其他国家达成一致，就像我们在核武器上所做的那样，因为核武器对我们所有人来说都是不好的，我们都面临着同样的关于存在威胁的问题，所以我们都应该能够在试图阻止它的过程中进行合作。
主持人
：
只要我们在这过程中可以赚些钱。（观众笑）
有一个问题是在线观众问的，我很感兴趣，你提到了一点关于“机器变得更聪明，超过人类”的过渡时期，是否会有一刻，很难界定什么是人类，而什么不是，还是这两者是非常不同的智能表现形式？
Hinton
：
我认为它们是不同的智能形式。当然，数字智能非常擅长模仿我们，因为它们受过模仿我们的训练，所以很难分辨是chatGPT写的，还是我们写的。从这个意义上说，它们看起来很像我们，但在内部，它们的工作方式并不相同。
主持人
：
可以说，提问是我们所拥有的最重要的人类能力之一。从你现在2023年的角度来看，我们应该关注哪一个或两个问题？这些技术是否有可能实际上帮助我们提出更好的问题并质疑这项技术？
Hinton
：
是的，我们应该提出很多问题，但其中之一是我们如何防止它们接管？我们如何防止它们控制？我们可以向它们提问，但我不会完全相信它们的回答。
