深度学习崛起那年，百度差点签下 Hinton

Python程序员 · 公众号 · Python · 2021-03-25 10:47

正文

转自：机器之心编辑部

大家好，我是东哥。本文是一篇关于 深度学习之父 Hinton 的故事，故事很有意思，拿来和大家分享一下。主要讲了深度学习崛起当年，Hinton 是如何选择公司的，以及后来他对深度学习的一些深远影响。

一天傍晚，他们望向窗外。两架飞机交叉飞过，在山峰上空留下一个巨大的「X」形的尾迹。他们兴奋地思考着这其中的含义，然后才想起来谷歌总部就建在一个名叫「山景城」的地方。「这是不是表示我们应该加入谷歌？」Hinton 问道，「还是暗示我们不要去？」

这是神经网络之父 Geoffrey Hinton 和他的两个学生——Alex Krizhevsky 、Ilya Sutskever——之间的一段对话。 对话发生在 2012 年 12 月。对于整个人工智能领域来说，这是非常重要的一个年份。

在这一年的 ImageNet 挑战赛上，Hinton 和 Krizhevsky、Sutskever 提出的深度神经网络 AlexNet 一骑绝尘，将图像分类的错误率降低了一半，以远超第二名的成绩拿到了比赛的冠军，证明了深度学习的巨大潜力。

Ilya Sutskever（左）、Alex Krizhevsky（中）和 Geoffrey Hinton（右）

如此重大的进展自然逃不过科技巨头的敏锐触角。论文刚发出几天，Hinton 就收到了一封来自中国的电子邮件。 发信者是余凯，彼时，他刚刚加入百度，领导新成立的多媒体部。

余凯和 Hinton 相识于加拿大的一个学术研讨会，两人的共同之处在于： 他们都相信神经网络存在巨大潜力 。在看到论文之后，余凯告诉百度高层，他们应该尽快招募 Hinton。通过这封电子邮件，余凯把 Hinton 引荐给了百度的一位副总裁，这位副总裁立即给出了高达 1200 万美元的 offer，邀请 Hinton 和他的学生为百度工作几年。

但与此同时，其他科技科技巨头也在给 Hinton 的办公室打电话，一场人才争夺战就此展开。从今天的角度来看，这场争夺战不仅决定了 Hinton、Krizhevsky、Sutskever 三人的去留，也是一把发令枪，标志着巨头之间的深度学习军备竞赛就此拉开帷幕。

很长一段时间里，外界都不知道究竟有哪些巨头参与了这场争夺战，也不知道他们以怎样的形式展开交锋。但最近出版的一本新书为我们揭开了这一谜底。

这本书的作者是《纽约时报》记者 Cade Metz，书中描写了几家科技巨头围绕 Hinton 等人展开的一场 AI 人才与技术竞争。虽然 Hinton 和几家参与竞标的公司签署了保密协议，但时过境迁，AI 赛道的几个头部玩家早已站稳脚跟，这些往事也就没有了保密的必要。透过《连线》关于此书的一篇报道，我们可以大体知道当年究竟发生了什么。

四家巨头的角逐

前面说到， AlexNet 的问世让全世界都看到了深度学习的巨大潜力，百度也在第一时间给出了 1200 万美元的 offer。但就在双方即将达成协议之际，Hinton 犹豫了，因为美国的几家巨头也向他抛出了橄榄枝。

在两个学生的激励下，Hinton 意识到，百度及其竞争对手更有可能斥巨资收购一家公司，而不是花同样的钱从学术界雇佣几个新员工。于是，Hinton 就创建了自己的公司，并将其命名为 DNNresearch 。

但是，这家公司只有三名员工，没有产品，也没有历史，怎么才能卖个好价钱呢？Hinton 带着这个问题去咨询了律师。律师给出了两条建议，一是聘请一位谈判专家，但是这个做法有激怒潜在买家的风险；二是 组织一场竞拍 ，价高者得。权衡利弊之后，Hinton 等人选择了后者。

Hinton 将竞拍的时间选在了 2012 年的 12 月份，这也是当年的 NeurIPS 大会举办的时间。在他看来，那年的 NeurIPS 大会是举行高风险拍卖的理想场所，因为大会地点就选在两家著名的赌场酒店 Harrahs 和 Harveys。

对于 Hinton 来说，这趟从加拿大到美国的旅程并不轻松，因为他只能躺在交通工具上，否则就会有椎间盘突出的风险。

拍卖周前夕，谷歌高级副总裁 Alan Eustace 驾驶自己的双引擎飞机降落在机场，与他一起代表谷歌的还有 Jeff Dean。百度派出的代表则是余凯。其他几个潜在买家还包括微软和刚成立两年的 DeepMind。

整个竞拍过程通过电子邮件的方式进行，竞标者们并不知道彼此的身份，只和 Hinton 团队单独见面或沟通。

Hinton 在自己下榻的 Harrah 酒店 731 房间里主持竞拍。他每天都会为下一轮竞标设定一个时间，然后和他的学生在笔记本电脑上查看竞标数据。为了方便 Hinton 站着打字，他们把两个垃圾桶倒扣在床尾的书桌上，然后把笔记本电脑架在上面。

拍卖规则很简单： 在每轮出价之后，四家公司都有一个小时的时间将出价提高至少 100 万美元。一小时后，如果没有人给出更好的价格，竞拍就结束了。

第一个出局的是 DeepMind。这家公司给出的筹码是自己的股票，而非现金。

从 1500 万到 2000 万，DNNresearch 的身价不断攀升。中途，微软也退出过一次，但之后又回来了。

到了 2200 万美元，Hinton 暂停了竞拍并与其中一家公司展开了讨论。

半小时后，微软再次退出，只剩下百度和谷歌两家公司。

在新一轮的出价中，DNNresearch 身价涨到了 2400 万美元。百度总部的高管开始亲自参与竞标。

竞拍过程中，余凯会时不时地到 Hinton 的房间转一转，希望打听到哪怕一点点消息。但他不知道的是，他的每次到来都会让 Hinton 的两个学生手忙脚乱。

酒店所在的太浩湖空气又冷又干，Hinton 在这样的环境中很容易生病。因此，他在酒店房间自制了一套加湿器——把沙发垫子铺在床边，中间盖上熨衣板等比较长的物体，然后再把湿毛巾铺在上面。但是，Hinton 不想让余凯等科技巨头代表看到这套设备。用他自己的话来说就是：「我不想让他们看到我又老又衰（ old and decrepit）」。因此，余凯每来一次，Hinton 的学生就要收拾一次。他还跟两个收床垫的学生说：「这是副总裁才能干的活儿。」

有一次，余凯离开房间时没有带背包。Hinton 和他的学生注意到了这个背包，他们想，要不要打开它？看看百度到底愿意出多少钱。但他们知道这样做不对，所以后来也没有打开。

随着拍卖过程的深入，他们很快发现，百度总是愿意出更高的价格：2500 万美元、3000 万美元、3500 万美元。后来，Hinton 把竞价窗口时间从 1 小时缩短到 30 分钟。随后出价迅速攀升到了 4000 万美元、4100 万美元、4200 万美元、4300 万美元。

Hinton 说：「感觉我们就像在电影里一样。」价格在午夜时分达到了 4400 万美元。这一刻，他再次暂停竞标，他需要睡觉。第二天，大约在投标开始前 30 分钟，Hinton 发了一封电子邮件说开始时间要推迟一会儿。

大约一个小时后，他又发了一封宣告拍卖结束的邮件。Hinton 决定把他的公司卖给谷歌，而不是继续抬高价格。在给百度的电子邮件中，他说公司发送的任何其他信息都会转发给他的新雇主，但他没有说雇主是谁。

一场新的比赛开始了

Hinton 的背不好，他应该不会去中国。余凯猜到 Hinton 最终会去谷歌，或者至少是一家美国公司，但百度位列「竞拍者」之席总归是一件好事。在这次拍卖过程中，他们意识到深度学习技术将在未来的几年变得非常重要。

深度学习崛起那年，百度差点签下 Hinton

正文

请到「今天看啥」查看全文