黄仁勋致毕业生：勇于进入0亿美元市场，希望你能找到自己的GPU

一水 发自 凹非寺
量子位 | 公众号 QbitAI

英伟达CEO黄仁勋的最新大学毕业典礼演讲，被热议了。

“相信非传统，勇于探索未知。”

这是黄院士对加州理工2024届毕业生的劝勉，也似乎是英伟达发展史和老黄创业的写照。

当然，黄院士也从 英伟达 的视角讲述了一段 微缩版的计算科学发展历史 。

当今计算机是最重要的知识工具，它是每个科学领域每个行业的基础。当你进入这个行业时，了解正在发生的事情很重要。

众所周知，黄仁勋没有博士学位，他移民美国后，本科就读于俄勒冈州立大学，然后1990年获得斯坦福大学电子工程硕士学位，1993年创办了英伟达，并在1999年面向游戏领域发明了GPU。

之所以来加州理工做毕业典礼演讲，老黄也直言不讳：

我是来招聘的。我是一个好老板。

演讲要点

• 一些违反直觉的教训：在面对技术和业务挑战时， 坚持知识诚实和谦逊 ，以及在必要时采取 战略性撤退

• 人工智能是老黄所知的 唯一一项 同时以多个指数级发展的技术

• 现代计算可以追溯到 IBM System 360 ，它的主要思想、架构和战略仍然主导着今天的计算机行业

• 基于Carver Mead在加州理工学院关于芯片设计方法和教科书的开创性工作，彻底改变了 IC设计 。它使我们这一代人能够设计出超大型芯片，并最终设计出CPU。

• NARD缩放、晶体管缩放和指令级并行性的限制降低了CPU性能。CPU性能提升速度放缓之际，计算需求持续呈指数级增长。 计算需求与计算机能力之间呈指数级增长的差距 ，如果不加以解决，计算能源消耗和成本以及通货膨胀，最终将扼杀每个行业。

• 人工智能的下一波浪潮是 机器人技术 ，这是一个“0亿美元市场”，但未来将价值数十亿美元，就像 Nvidia 刚起步时的 GPU 加速计算一样。
  ……

  
  

以下为黄仁勋演讲全文：

尊敬的校长罗森鲍姆教授、敬爱的教职工、尊贵的来宾、自豪的家长们，尤其是加州理工学院2024届的毕业生们：

今天对你们来说真是一个快乐的日子，你们必须看起来更兴奋一些。你们即将从加州理工学院毕业，这所学校孕育了伟大的理查德·费曼、莱纳斯·鲍林，以及对我们的行业产生了深远影响的卡弗·米德。这的确是一件大事。

今天是一个充满自豪和喜悦的日子。这不仅仅是你们的梦想成真，也是你们的父母和家人无数牺牲的结果。让我们借此机会向他们表示祝贺和感谢，并让他们知道你们爱他们。不要忘记这一点，因为你们可能不知道将来会在家里住多久。

作为一名自豪的父亲，我非常喜欢我的孩子们还住在家里，每天都能见到他们。但现在他们已经搬出去了，这让我有些难过。所以，希望你们能花些时间陪伴父母。

你们在这里的旅程证明了你们的性格、决心和为梦想做出牺牲的意愿，你们应该为此感到自豪。在生活中，你们将需要这种做出牺牲、忍受痛苦和折磨的能力。

NVIDIA的两位首席科学家都来自加州理工学院 。我今天站在这里发表演讲的原因之一是因为我正在 寻找人才 。所以，我想告诉大家，NVIDIA是一家非常伟大的公司，我是一个非常好的老板，受到普遍爱戴。加入NVIDIA吧！

你们和我都有一个共同点：我们对科学和工程充满热情。尽管我们相差约40年，但我们都处于职业生涯的巅峰。对于那些一直关注NVIDIA和我个人的人来说，你们知道我的意思。只是对你来说，你还有很多很多的高峰要去攀登。我只是希望今天不是我的巅峰。

去年，我有幸在台湾大学发表毕业典礼致辞，分享了几个有关NVIDIA历程的故事以及我们学到的可能对毕业生有价值的经验教训。 我必须承认我不喜欢提供建议，尤其是给别人的孩子 。因此，我今天的建议很大程度上会隐藏在一些我喜欢的故事和我的一些生活经历中。

我相信，我是当今世界上 任职时间最长 的科技公司首席执行官。 31年来 ，我没有破产，没有感到无聊，也没有被解雇。因此，我非常荣幸地享受了很多人生经历，从创建NVIDIA开始，从一无所有到今天的成就。

我谈到了我们曾经参与的一个非常公开的、被取消的世嘉游戏机项目，以及知识诚实。我知道理查德·费曼非常关心并经常谈论这一点， 知识诚实和谦逊拯救了我们的公司。以及如何撤退，战略性撤退，是我们最好的策略之一 。所有这些都是我在毕业典礼上谈到的违反直觉的教训。

但我鼓励毕业生接触人工智能，这是我们这个时代最重要的技术。稍后我会详细讨论这一点，但你们都知道人工智能。很难不沉浸其中、被它包围，并引发大量关于它的讨论。当然，我希望你们所有人都在使用它并玩弄它，得到令人惊讶的结果，有些神奇，有些令人失望，有些令人惊讶。但你必须享受它，你必须参与它，因为它进步如此之快。

这是我所知道的唯一一项同时以多个指数级发展的技术 。因此，技术的变化非常非常快。所以我建议台大的学生要跑，不要走，要参与AI革命。然而，一年后，它的变化之大令人难以置信。

所以今天，我想做的就是从我的角度与你们分享我对你们毕业时正在发生的一些重要事情的看法。这些正在发生的非同寻常的事情你应该有一个直观的理解，因为它对你很重要，对整个行业也很重要。希望您能充分利用眼前的机会。

加速计算已达临界点

计算机行业正在从其基础、从字面上看是从螺柱开始转变。从螺母开始，一切都在变化。很快，每个行业也将发生转变。其原因非常明显，因为计算机是当今最重要的知识工具。 它是每个行业和每个科学领域的基础 。如果我们如此深刻地改变计算机，它当然会对每个行业产生影响。

当您进入这个行业时，了解正在发生的事情很重要。现代计算可以追溯到 IBM System 360 。那是我学习的架构手册。这是一本你不需要学习的架构手册。从那时起，就出现了更多更好的文档以及对计算机和体系结构的更好的描述。

但IBM System 360在当时是非常重要的，事实上，它的主要思想、架构和战略仍然主导着今天的计算机行业。它是在我出生一年后推出的。

在80年代，我是 第一代VLSI工程师之一 ，他们从Mead和Conway的里程碑式教科书中学习了芯片设计。我不确定这里是否还在教授它。应该是在VLSI系统的引入中。基于Carver Mead在加州理工学院关于芯片设计方法和教科书的开创性工作，彻底改变了IC设计。它使我们这一代人能够设计出超大型芯片，并最终设计出CPU。

CPU导致计算量呈指数级增长 。性能和令人难以置信的技术进步，即所谓的 摩尔定律 ，推动了信息技术革命。我们这一代人所经历的工业革命见证了世界前所未见的东西的大规模生产。大规模生产无形的、易于复制的东西，大规模生产软件。它催生了一个价值 3万亿 美元的产业。

当我坐在你坐的地方时，IT行业还很小。销售软件可以赚钱的想法是一个幻想。然而今天，它是我们行业生产的最重要的商品、最重要的技术和产品创造之一。

然而， NARD缩放、晶体管缩放和指令级并行性的限制降低了CPU性能 。CPU性能提升速度放缓之际，计算需求持续呈指数级增长。计算需求与计算机能力之间呈指数级增长的差距，如果不加以解决，计算能源消耗和成本以及通货膨胀，最终将扼杀每个行业。

正如我们所说，我们看到了非常明显的 计算通货膨胀 的迹象。经过NVIDIA CUDA二十年的发展，NVIDIA的加速计算提供了一条前进的道路。这就是我来这里的原因。因为最终，当我们目睹几十年后的计算膨胀时，业界终于意识到了加速计算的令人难以置信的有效性。

通过将耗时的算法卸载到专门从事并行处理的GPU，我们通常可以实现10倍、100倍，有时甚至1,000倍的加速，从而节省资金、成本和能源。我们现在加速应用领域的发展，从计算机图形学、光线追踪，当然到基因测序、科学计算、天文学、量子电路模拟、SQL数据处理，甚至pandas、数据科学。

加速计算已达到临界 点 。这是我们对计算机行业的第一项伟大贡献，我们对社会的第一项伟大贡献，加速计算。它现在为我们提供了一条可持续计算的前进道路。

成功押注深度学习

随着计算需求的不断增长，成本将继续下降。加速计算所带来的时间、成本或能源节省的一百倍，一百倍肯定会在其他地方引发新的发展。我们只是不知道它是什么，直到 深度学习 进入我们的意识。

一个全新的计算世界出现了。Jeff Hinton、Alex Krzyzewski和Ilya Sutskever使用NVIDIA CUDA GPU训练 AlexNet ，并赢得2012年ImageNet挑战赛，震惊了计算机视觉界。这是一个重要时刻，深度学习的大爆炸，一个标志着人工智能革命开始的关键时刻。

AlexNet改造我们公司后的决定值得关注。AlexNet后我们的决定改变了我们的公司，也可能改变了其他一切。我们看到了深度学习的潜力，并且相信，只是通过原理思考相信，通过我们自己对深度学习的可扩展性的分析相信。我们相信该方法可以学习其他有价值的功能。也许深度学习是一种通用函数学习器，有多少问题很难或不可能使用基本的第一原理来表达。

因此，当我们看到这一点时，我们认为这是一项我们真正必须关注的技术，因为它的局限性可能仅受模型和数据规模的限制。然而，当时也遇到了挑战。现在是2012年，2012年刚过不久。 我们如何才能在不构建这些大规模GPU集群的情况下探索深度学习的极限呢？

当时我们还是一家相当小的公司，构建这些庞大的GPU集群可能要花费数亿美元。但如果我们不这样做，就无法保证扩大规模后会有效。然而，没有人知道深度学习可以扩展到多远。 如果我们不建造它，我们永远不会知道。 这是其中之一，如果你建造它，他们会来吗？我们的逻辑是，如果我们不建造它，他们就不会来。

因此，我们根据我们的首要原则信念和分析做出了奉献。我们相信这会非常有效，当公司相信某件事时，我们就应该采取行动。因此，我们深入研究深度学习，并在接下来的十年里系统地重塑了一切。 从GPU本身开始，我们重新发明了每个计算层。 现代GPU的发明，与我们最初发明的过去的GPU非常不同。

我们继续发明了计算、互连、系统、网络和计算的几乎所有其他方面。当然，还有软件。我们投资了数十亿美元。 我们向未知领域投资了数十亿美元。 十年来，成千上万的工程师致力于深度学习，并推进和扩展深度学习，但他们并不真正知道我们可以将这项技术真正应用到什么程度。

我们投资了数十亿美元。我们设计并建造了超级计算机来探索深度学习和人工智能的极限。2016年，我们发布了 DGX-1 ，我们的第一台人工智能超级计算机，我将第一台计算机交付给了旧金山的一家初创公司，一家无人知晓的初创公司，我的一群从事人工智能工作的朋友，一家公司称为OpenAI。

2022年，也就是AlexNet出现10年后，计算量增长了大约一百万倍，一百万倍。如果您能想象一下，如果您的笔记本电脑的功能增强一百万倍，会是什么样子？百万倍之后，OpenAI推出了ChatGPT，AI成为主流。

在这十年中，NVIDIA从一家 图形公司 （你们中的许多人可能首先知道我们是一家制造GPU的公司）转变为现在一家 构建大型数据中心规模超级计算机的人工智能公司 。我们彻底改变了我们的公司。我们还彻底改变了计算技术。当今计算的基本方式已经发生了根本性的改变。

计算堆栈现在使用GPU来处理在超级计算机上训练的大型语言模型，而不是使用处理程序员编写的指令的CPU。我们现在正在创建人类无法编写的软件。我们现在正在创建的软件可以完成人类无法想象的事情，即使是在10年前。 计算机现在是意图驱动的而不是指令驱动的。 告诉计算机你想要什么，它就会弄清楚如何做。

与人类一样，人工智能应用程序将理解任务、原因、计划并编排大型语言模型团队来执行任务。 未来的应用程序的工作方式和执行方式将与我们的工作方式非常相似， 组建专家团队，使用工具，推理和计划，并执行我们的任务。软件以及软件可以做什么已经完全改变了。甚至我们的行业，随着它的改变和转变，创造了另一个行业，一个世界上从未有过的行业。

一个产业正在我们眼前形成。AI的输入和输出都是代币。对于房间里的所有工程师，你们知道我的意思。这些是嵌入智能的浮点数。公司现在正在建设一种以前不存在的新型数据中心，专门生产智能代币。 本质上是人工智能工厂。 就像尼古拉·特斯拉在过去的工业革命中发明的交流发电机一样，我们现在有了AI代币发电机，它们将成为新工业革命的工厂。

有生产能源、电力的大型工业。我们现在有一个庞大的产业，生产一些看不见的东西，称为软件。在未来，在不久的将来，我们将拥有生产、制造智能代币、人工智能发生器的行业。一个新的计算模型已经出现，一个新的行业已经出现，这一切都是因为我们从第一原理出发，形成了对未来的信念，并付诸行动。

机器人技术是下一波浪潮

人工智能的下一波浪潮是机器人技术， 其中人工智能除了语言模型之外，还有物理世界模型。我们与数百家公司合作，制造机器人、机器人车辆、拾放手臂、人形机器人，甚至整个巨型机器人仓库。但与我们的人工智能工厂战略和经验不同，我们的人工智能工厂战略和经验实际上是通过推理和深思熟虑的行动形成的，我们的机器人之旅是一系列挫折的结果。

如您所知，NVIDIA发明了GPU。这是在我们发明人工智能工厂之前。我们对计算机行业的 第一个伟大贡献是通过可编程着色器重塑计算机图形。 我们在2000年发明了GPU和可编程着色。我们希望将GPU集成到每台计算机中，因此我们开始将GPU与主板芯片结合起来，当时我们针对AMD CPU推出了一款非常棒的集成显卡芯片。

我们的芯片组业务立即取得了成功。我认为它几乎一夜之间就从零增加到了十亿美元。但突然之间， AMD想要控制PC中的所有技术，而我们想要保持独立， 所以他们收购了ATI，不再需要我们。我们转向英特尔。这可能不是一个好主意，但我们求助于英特尔并协商了连接英特尔CPU的许可。

Apple 对我们正在开发的产品感到非常兴奋，并要求我们与他们一起开发一台新电脑，这就是第一台MacBook Air。好吧，英特尔看到了发生的事情并决定他们不想让我们再这样做，所以他们终止了我们的协议。好吧，我们再次转向，这一次我们获得了ARM的许可，我们构建了一个低功耗SoC，一个移动SoC， 世界上第一个SoC ，本质上是一台计算机，一台完整的操作系统计算机，这是令人难以置信的。

我们的芯片让