和梁朝伟同获港科荣誉博士，黄仁勋与沈向洋对谈Scaling Law、后训练、机器人和爱情

↑ 点击 蓝字 关注极市平台

来源丨机器之心

极市导读

11 月 23 日，香港科技大学举行了今年度的学位颁授典礼。 >> 加入极市CV技术交流群，走在计算机视觉的最前沿

英伟达创始人和 CEO 黄仁勋又新增一个荣誉工程学博士头衔，与他一同获得荣誉博士学位的还有著名影星梁朝伟、2013 年诺贝尔化学奖得主 Michael Levitt、菲尔兹奖得主 David Mumford。

典礼现场照片，图源：X 用户 @biogerontology

行程中，黄仁勋与著名计算机科学家、香港科技大学校董会主席沈向洋身穿同款皮衣，进行了主题为「技术、领导力和企业家精神」的炉边谈话，内容涉及 AI 的发展和对社会的影响、AI 在科学领域的应用、大湾区的硬件生态系统、领导力和企业管理甚至爱情等主题。

黄仁勋与沈向洋展示同款皮衣

黄仁勋观点的太长不读版：

• AI 的关键变革意义是可作为理解一切的「通用翻译器」，而 AI 还将创造一个全新的行业。
• Scaling Law 仍在持续有效。英伟达最伟大的贡献之一是让机器能轻松地学习大量数据。
• AI 还没有掌握从第一性原理中得出答案的能力，但模拟对科学也很有价值。
• 作为领导者，要持续学习、保持强大、考虑他人的利益。
• 大学生谈恋爱不会耽误学习。
• AI 的目标是推理，而不是训练。AI 训练虽然耗能多，但最终也能帮助节省能源。
• 未来只有三种机器人可以大规模生产：汽车、无人机和人形机器人。
• 大湾区是世界上唯一一个机电技术和 AI 技术能够同时蓬勃发展的地区。

机器之心整理了这场炉边谈话的主要内容。

AI 的社会影响

沈向洋：我昨晚睡不着，一个重要原因是我将把你当成宇宙第一 CEO 来介绍给大家。我很担心，因为昨天苹果公司的股票在涨，而你的公司没有。早上起来，我问了我的妻子，确认你们还是第一。所以我会给你提些难题。首先，你认为 AI（尤其是 AGI）对行业和整个社会来说有什么影响？

黄仁勋： 首先，很感谢有机会与您共度时光。Harry（沈向洋）是我们这个时代最重要的计算机科学家之一。他是我和许多人的英雄。Harry，正如你所知，当 AI 有能力学习和理解语言、图像、蛋白质序列、氨基酸序列和化学序列等各种数据时，就能获得变革性的、开创性的能力。突然之间，我们有了可以理解字词含义的电脑。生成式 AI 让我们将一种信息模式转换为另一种信息模式，比如从文本到图像、从文本到文本、从蛋白质到文本、从文本到蛋白质、从文本到化学物质。

最初，这是一个通用的函数逼近器，现在演变成了适用于各种情况的通用语言翻译器。那么问题是，我们可以用它做什么？世界上有很多公司和团队在组合这些不同的模态和能力。 我认为真正惊人的突破是 AI 现在可以理解各种信息的含义，成了可以理解任何东西的通用翻译器。

沈向洋：你曾说过，农业革命实际上是制造了更多食物，工业革命实际上制造了更多的科学技能，然后是信息技术带来了更多信息。现在是人工智能时代，你认为现在 AI 实际上是在制造更多智能吗？

黄仁勋： 从计算机科学的角度看，我们已经重新发明了整个堆栈，也就是我们开发软件的方式。过去我们自己动手写代码。我一开始学习了 Fortran，后来学习了 Pascal、C 和 C++。每种语言都可以将我们的想法变成代码，然后在 CPU 上运行。

现在我们则是使用观察数据。我们将其提供给计算机，看它能从中发现什么模式和关系。现在不再是编程，而是机器学习。机器生成的不是软件，而是在 GPU 上处理的神经网络。从编程到机器学习，从 CPU 到 GPU。由于 GPU 能力强大得多，所以我们现在可以开发出异乎往常的软件类型。而它之上是人工智能。这就是涌现。所以计算机科学已经发生了很大的变化。

现在的问题是，我们的行业会发生什么？当然，我们都在竞相使用机器学习来发现新的人工智能和 AI。AI 做的事情之一是「认知自动化」，或者说解决问题的自动化。

解决问题的整个过程可以被总结成三个基本步骤：感知、推理和规划。比如，对于自动驾驶，需要汽车感知其周围环境，然后推理自己的位置以及其它汽车的位置，再规划驾驶过程。我们可以将自动驾驶比作是数字驾驶员。类似于，我们可以有数字放射科医生等等。实际上，对于我们所做的任何事情，都可以想出对应的 AI 表达。我们可以称之为数字智能体。这些数字智能体互相交互，产生 token，但实际上就是数字智能。

就像三百年前发电机的发明造就了各种电器，它们消耗发电机生产的电力。Copilot 和 ChatGPT 等应用就像是各种电器，而发电机就对应于数字智能工厂。所以，我们其实正在创造一个新的行业。这个新行业需要能源并产生数字智能。这些数字智能将被用于各种不同的应用。我们相信，它的消耗量会相当大。而这整个行业在以前是不存在的，就像发电机出现之前不存在电器行业一样。

按黄氏定律，英伟达股票还能再涨吗？

沈向洋：Nvidia 在算力领域，尤其是在过去十几年里的贡献，有一个数字不断被提及，就是以你的名字命名的「黄氏定律」，对标摩尔定律。

「黄氏定律」：在过去十年中，英伟达 GPU 的人工智能处理能力增长了 1000 倍，这一增长表明在单芯片推理性能中看到的增速不会逐渐消失，而是会继续存在。

在计算机行业的早期发展中，英特尔提出了著名的摩尔定律 —— 大约每 18 个月，计算能力将实现翻倍。

如果我们回看过去 10 到 12 年，在你的领导下，甚至不是每年翻一番，而是更多。

从消费的角度来看，在最近 12 年中，算上所有的大语言模型，每年的计算需求实际上是增长了四倍。如果每年增长四倍，那么在十年的时间里，这个数字将变成惊人的一百万倍。

这就是为什么 Jensen 的股票能在十年内增长 300 倍的原因之一：需求增长了一百万倍。这也解释了为什么英伟达的股票贵得合理。

现在，我想问问您，用您的水晶球展望未来，我们是否在未来十年还会见证这种百万倍的需求增长？

黄仁勋： 摩尔定律基于两个概念，其一是 VLSI 缩放。这一概念源自 Carver Mead 和 Lynn Conway 的著作，确实极大地启发了我们这一代人。其二是 Dennard 缩放，即保持晶体管的电流密度恒定的同时，通过缩小晶体管尺寸，使我们能够每隔几年将半导体的性能提升一倍。

具体来说，大约每一年半，性能就会翻一番。这意味着 5 年后，性能能提升至 10 倍，10 年后，能达到 100 倍。

当前，我们所见证的是，神经网络的规模越大，训练这些网络的数据越多，AI 的性能似乎就越强大。这已成为一个经验法则，类似于摩尔定律，我们称之为 Scaling Law，而 Scaling Law 似乎仍在持续发挥作用。

但我们也知道，仅仅通过预训练从全球数据中自动发现知识是不够的。这就好比上大学、完成学业是一个重要的里程碑，但这还远远不够。

我们需要后训练，也就是深入学习特定技能的过程。后训练涉及强化学习、人类反馈、人工智能反馈、合成数据生成、多路径学习等多种技术。

核心在于，你开始进入一个特定领域的深度学习，试图深入理解其中的某些内容。这就是后训练的过程。一旦你选择了一份职业，你会再次进行大量的学习。

然后，在后续阶段，就到了我们所说的「思考」。这可以被称为 test time scaling。在这个阶段，有些问题的答案可以直截了当地知道，而有些问题则需要你将其分解，逐步追溯到第一性原理，再从原点出发，为每个问题找到解决方案。这可能需要你进行迭代，可能需要你分情况讨论，模拟不同的结果。

因此，我们称之为「思考」，而且往往思考的时间越长，得到的答案质量可能就越高。

请注意，在人工智能发展的三个关键领域中，大量的计算能够带来更高质量的答案。现在 AI 能提供的回答已经是能力范围的最好了，但我们需要保持头脑清醒，判断 AI 的回答有没有幻觉？合不合理？

我们必须努力达到一个境界，那时我们可以充分信任人工智能提供的答案。我认为我们距离这一目标还有几年的时间。在此期间，我们不得不持续增强计算能力。

很感激你刚刚谈到，在过去的十年中，Nvidia 实现了计算性能的百万倍提升。Nvidia 实际上做了什么呢？我们将计算的边际成本降低了百万倍。

试想一下，如果世界上有人把刚需物品的成本降低了百万倍，比如电力，那么你的习惯将会发生根本性的变化。

对计算的看法也由此发生了质变。这是 Nvidia 所做出的最伟大贡献之一 —— 我们使得让机器全面学习大量数据变得如此简单，以至于研究人员几乎不需要犹豫就可以进行。这就是机器学习之所以能够迅速发展的原因。

2024 年，AI for Science 为什么走得通了？

沈向洋：Jensen，有一件事我真的想请教你，关于我们应该在港科大做些什么。我们其实有很多选择，其中有一个特别令人兴奋的事情，我们称之为 AI for Science。例如，我们一直在我们的大学投资大量的计算基础设施 GPU，校长和我特别鼓励我们的教师在物理和计算机科学、材料科学和计算机科学、生物学和计算机科学之间进行合作。你一直在谈论生物学的未来。现在在香港发生的一件非常令人兴奋的事情是，我们的政府决定建设第三所医学院。事实上，港科大是第一个提交提案的大学。你对此有什么建议？我们应该投资在什么地方？

黄仁勋： 首先，我在 2018 年的世界科学计算会议上介绍了人工智能，当时饱受质疑。因为当时的人工智能在某种程度上是一个黑箱。事实上，它今天不那么像黑箱了，因为你可以向它提问，问它为什么给出某个建议，让它向你解释它是如何一步一步得到答案的，就像教授启发他的学生一样。所以说今天的人工智能变得更加透明，更加可解释。而在 2018 年我们还做不到这一点。所以它遭到了很大的质疑，这是第一点。

第二，人工智能还没有掌握从第一性原理中产生答案的能力。它通过学习观察到的数据产生答案。因此，它并不是在模拟第一性原理求解器，而是模拟智能，模拟物理。现在的问题是，模拟对科学有价值吗？我想说，模拟对科学并非没有价值。原因在于，在许多科学领域，我们理解第一性原理，比如薛定谔方程、麦克斯韦方程等，但我们无法模拟这些方程并理解庞大的系统。所以，与其从第一性原理出发去解决这些问题，并让它在计算上受到限制，我们不如使用人工智能。

我们可以训练理解物理的人工智能，并用它来模拟非常大的系统，以便我们能够理解大系统和大尺度。那么，这对哪些领域有用呢？首先，人类生物学有一个从纳米开始的尺度，从纳秒到年，用第一性原理求解器去求解这样的系统几乎是不可能的。所以现在的问题是，我们能否使用人工智能来模拟人类生物学，以便我们能够更好地理解这些非常复杂的多尺度系统，甚至创建一个人类生物学的数字孪生。这是一个伟大的希望。

现在说到你们的医院，港科大有一个非常重要的机会，那就是在这里建立一所医院，其最初的核心领域是技术、计算机科学和人工智能。这与世界上几乎所有医院的运作方式完全相反。传统医院通常是以医疗为起点，然后尝试将人工智能和技术融入其中，而这种方式通常会遇到怀疑和对技术的不信任。

而你们现在有机会第一次从零开始打造一个完全不同的体系 —— 一个从一开始就拥抱技术并推动技术进步的医院。在这里的所有人，包括你们自己，都是推动基础技术发展的专家。你们了解技术的局限性，同时也了解它的潜力。我认为这是一个非凡的机会，我希望你们能好好利用它。

作为 CEO，应该持续学习、保持强大、考虑他人的利益

沈向洋：你是硅谷历史上当 CEO 时间最长的人，到现在有 30 或 31 年了？你不累吗？

黄仁勋： 接近 32 年了。我超级累（super tired）。

沈向洋：哈哈，你超级累，但仍在继续前进。我们想知道，你是如何领导英伟达这样庞大的企业的，并且还让它以惊人的速度进步？

黄仁勋： 我很惊讶今天（在颁授典礼上）看见了「计算生物学和商业」专业。我认为这很棒。我创立英伟达前没有上过商业课程，到今天我也没有上过商业课程。我也没写过商业计划书，从来也不知道怎么写。我指望你们帮我写商业计划书。我想说的是，我认为你们应该尽可能多地学习。我一直在学习。

对于我的工作，我想的是这不仅仅是一份工作，而是我一生的事业。不管是做什么，工作与人生事业的不同想法会给你的头脑带来非常巨大的差异。如果你认为你的工作就是你要奉献一生的事业，那你就会想要去完善它。英伟达就是我一生的事业。

一路上我学到了很多。这里说一个。如果你想成为一家公司的 CEO，你有很多东西要学。你必须不断地重塑自己。世界一直在变化，你的公司一直在变化，技术一直在变化。所以我基本上每一天都在学习，当我飞到这里的时候，我在看 YouTube 或者我在和我的 AI 说话。顺便说一下，我找了个 AI 当家教。我会问很多问题。比如，如果它告诉我一个答案，我会问你为什么给我那个答案？一步一步告诉我答案。执行推理或类比等等。我通过折磨我的 AI 来学习。所以学习的方法有很多。

关于 CEO 和领导力方面，我学到了什么？首先，你是 CEO，是领导者，但你不必知道一切。你必须对自己想要做的事情充满信心，但你不必确定。信心和确定性不是同一个概念。你有可能完全自信地追求一个方向，同时又给不确定性留出空间，而这种不确定性的空间能给你提供你继续学习的机会。不确定性是你的朋友，而不是敌人。

第二点，作为领导者要强大（strong），因为很多人指望你的力量，他们以你的力量为食。然而，强大并不意味着你不能脆弱。也就是说，如果你需要帮助，就寻求帮助。所以我不断地寻求帮助。

所以，脆弱不等于缺乏力量，不确定不等于缺乏信心。

最后，做事情的时候，不要想着自己，要想着其他人。只有当每一个决策都符合使命和他人的利益时，领导者才是值得信任的。要符合他人成功的利益。无论是公司内部的人、我的同事、我的合作伙伴、我们服务的生态系统、我们的供应链，我都在不断思考其他人的成功。我一直在思考什么对他们最有利。昨晚，我飞过来的时候，有人问我，我们应该和一个非常重要的伙伴讨论什么？我说，给出符合他们最大利益的建议 —— 从他们的最大利益出发，考虑我们该怎么做。我认为这些想法可能会有所帮助。

沈向洋：你有 60 个直接下属，非常多。你是怎么做到的，这似乎是你的独特领导风格。

黄仁勋 ：透明度。我会在大家面前推理我们需要做什么。我们共同努力制定战略。无论是什么策略，每个人都会同时听到。因此，当公司有了方向、战略和决策时，每个人都在一起思考。而不是每个人都在等着我告诉他该怎么做。所以我唯一要做的就是：确保我们都知晓同样的事情。

我通常是最后一个，会根据我们所做的一切来进行总结，比如哪些是大方向和优先事项。

一旦我们都对齐了，也就是我们都明白了采用什么策略，我相信每个人都是成年人，会自行完成自己的事情。

我之前提到了我的行为 —— 不断学习，自信但不确定。如果他们也不知道什么事情，我需要他们表达出来。如果他们需要帮助，我需要他们向我们寻求帮助。没有人会独自失败。

此外，我这 60 个人都是世界上最优秀的。

沈向洋：我们也有些学生会去创业，他们会成为新的企业家。作为这方面的大师，你很年轻时就创立了企业，并取得了如此惊人的成功。那么对于想要创业的学生和教职人员，你有什么建议吗？我们知道你确认曾承诺你的妻子，在 30 岁之前创立一家公司。

黄仁勋： 我 16 岁上大学。我遇见我的妻子时 17 岁，她 19 岁。我是班上最小的孩子。我们有 250 名同学，只有 3 个女生。我是唯一一个看起来像孩子的学生。所以我必须要有一个很好的搭讪话。所以我走向她，我对她说，我知道我看起来像个孩子。（我确信她对我的第一印象是我很聪明，否则就没戏了。）所以我走到她面前说：你想看看我的作业吗？

然后我向她保证，我说如果你每个星期天和我一起做作业，我保证你会得到全 A。结果，我每个星期天都能和她约会，而我让她整天做作业。

然后为了确保她最终和我结婚，我告诉她，到我 30 岁的时候，那时候我只有 20 岁，但是到我 30 岁的时候，我会成为一名 CEO。我都不知道我在说什么。

然后我们结婚了。所以，这就是我给企业家的所有建议。

大学生谈恋爱耽误好好学习吗？

沈向洋：好吧，我这里有一个学生的提问，他说自己在学校各方面表现都不错，但他需要专注学业。不过，他读到了您和您妻子的爱情故事。他想问的是，如果他浪费时间去谈恋爱，会不会影响学业？

你的答案显然是否定的，对吗？

黄仁勋： 那是当然。只要你保持好成绩，其他方面就水到渠成了。

我老婆从来没看到我写作业的过程，但我就想展示出我很聪明的样子。所以我总是在她到来之前就把作业写完了。这样当她来了之后，我已经知道了所有的答案。结果，她可能整个四年都在想，「黄仁勋真是个天才」。

沈向洋：没错，你真是个天才。

学校的算力难题

沈向洋：刚才你给了学生们一些很好的建议。顺便说一下，我这里实际上有 9 页的问题，抱歉不能挑选每个人的问题，我代表我们的学生提一个问题。

黄仁勋： 念吧。

沈向洋：我没有使用 GPT，否则能简单些。所以，问题实际上是，作为一名大学助理教授，现在做人工智能需要大量的力量。我们之前提到的那点很有意思，华盛顿大学一位教授几年前在推特上写道，在深度学习革命中麻省理工学院明显缺席了。但他的意思并不仅仅是麻省理工学院，实际上，即使是美国的顶尖大学也没有做出贡献。过去十年里有太多开创性的论文了，而是一些顶尖公司，包括英伟达、微软、OpenAI、谷歌，完成了令人惊叹的工作，部分原因是他们实际上拥有足够的计算能力。

所以，我的问题是，我们应该怎么做？我们应该加入英伟达吗？这倒是一个办法。或者我们能和英伟达合作吗？能请你帮忙吗？

黄仁勋： 这个问题的核心实际上是一个非常严重的结构性问题，即大学的结构性问题。如你所知，未来如果没有机器学习，就不可能以我们所说的规模推动科学发展。没有机器，就不可能有机器学习。科研工作需要科学仪器，而超级计算机就是当今人工智能领域的科学仪器。

大学的结构性问题在于，每个研究人员都有自己的资金来源。因此，一旦筹集到资金，他们就不想与其他人分享。然而，机器学习的工作方式是，你需要机器的一部分时间，但需要的是全部机器的一小部分时间，没有人永远需要它的全部，只是在一小段时间内需要巨大的资源。事实证明，大学要想推进研究，就必须把所有人的资金都集中起来，而这在斯坦福或哈佛这样的大学是非常困难的，因为在这样的大学里，虽然计算机科学方面的研究人员可以筹集到大量资金，获得非常大量的资助，但对于从事气候科学或海洋标志研究的人来说，就非常困难了。

因此，现在的问题是该怎么办。我认为，这正是那些能够通过建设供全校使用的基础设施来发挥领导作用的大学能够真正发挥作用的地方。但这也是大学面临的结构性挑战。这也是为什么这么多研究人员来英伟达、谷歌和微软这样的公司实习、做研究的原因，正如你们所知，因为我们有基础设施。然后这些人回到学校一段时间，要求我们将自己的研究成果保存在我们的系统中，这样他们回来后就可以继续研究。很多教授会这样做，客座教授也会兼职做研究，但同时仍在教书。我们就有好几位这样的教授。因此，有很多方法可以解决这个问题。当然，最好的办法是大学重新考虑如何提供资金。

GPU 的能耗问题

沈向洋：但我想问你一个具有挑战性的问题，一方面，我们很高兴算力在不断大幅提升，价格也在不断下降。但与此同时，英伟达的 GPU 将消耗大量能源。据预测，到 2030 年，全球能耗将增加 30%。你是否担心因为 GPU，世界实际上正在消耗更多的能源？