专栏名称: 经纬创投
经纬创投公众平台,创享汇,新闻发布官方平台
目录
相关文章推荐
独角兽智库  ·  有重组预期的非科技类潜力股名单 ·  2 天前  
51好读  ›  专栏  ›  经纬创投

黄仁勋:5万人类员工+1亿AI助手是英伟达的未来 |【经纬低调分享】

经纬创投  · 公众号  · 科技投资  · 2024-10-24 12:21

正文

虽然最近市场对芯片股有了更多争议,但英伟达仍然是美股的龙头大哥。2天前,英伟达的市值一度突破3.5亿美元大关,如今只有苹果突破了这一门槛。


但这样的市值,并没有建立在特别坚实的利润基础上,当然这里不是说英伟达的利润,而是那些斥巨资投入AI的客户们,目前还没有通过AI获得可观的收入和利润,一切还在投入期。


此时,愿景就变得无比重要,黄仁勋今年也出席了更多的论坛、演讲,来阐述自己对AI未来的看法、回应对AI的质疑。比如他说:“首席执行官和首席信息官只需要开始使用AI,剩下的事情就会水到渠成。”英伟达自己,已经利用AI来做芯片设计、软件编写和供应链管理,并在内部打造一个“AI大脑”:先收集公司如何运作、业务流程和客户互动方式的相关知识,然后将其交给AI,最终目标是将这些信息转化为一个AI,让首席信息官和首席执行官“可以直接与之对话”。


黄仁勋还说,现在英伟达有 3.2 万名员工,但他希望英伟达在未来的某天,将成为一家拥有 5 万名员工的公司,同时会有 1 亿个 AI 助手辅助。到时将有一个不同AI 智能体擅长事务的目录,AI 也会招募其它 AI 来解决问题,它们还会自己在 Slack 频道里面交流。



可以说,我们就是一个庞大的员工群体,其中一些是数字化的 AI,另一些则是生物体的人类,我还希望其中一些是电子化的机器人。”黄仁勋在播客访谈里说。


黄仁勋最近接受了播客节目Bg2 Pod的访谈,在YouTube上可免费观看。Bg2 Pod由两位著名投资人主持,一位是硅谷知名风投Benchmark的元老级合伙人Bill Gurley,他投过Uber、SnapChat、DropBox等等;另一位是Altimeter Capital的首席执行官Brad Gerstner,他投过Snowflake、Meta等等。不过这次Bill没来,由Altimeter的合伙人Clark Tang顶上。



By the way,最近很多投资大佬都出来做播客节目,以往很低调的挪威主权基金掌门人Nicolai Tangen,也做了一档节目,最近还访谈了宁德时代创始人曾毓群;而创投圈很火的播客20VC,其主持人Harry Stebbings从播客主播起家,然后通过媒体影响力进入了 VC 行业,最近刚募了4亿美金。


在Bg2 Pod上,黄仁勋侃侃而谈,他们一起讨论了向AGI扩展、机器学习加速、英伟达的竞争优势、推理与训练的重要性、AI领域未来的市场动态、AI对各行各业的影响、每个人工作的未来、AI提高生产力的潜力、开源与闭源之间的平衡、马斯克的Memphis 超级集群、X.ai、OpenAI、AI 的安全开发等问题。


全文很长,其中我最关注的是黄仁勋谈AI Agent的部分,他说“我们很快会看到可用的agent”,而这是AI领域非常值得期待的一件事。微软在最近发布了一系列agent,也带动了一点股价涨幅;Anthropic最近发布的Claude 3.5 Sonnet,获得了一项革命性的新技能:能够像人类一样操作电脑,这也是在为agent铺路……


从这些迹象来看,2025年很可能是agent爆发年,有几率能诞生Killer App,现在各种生产力场景的软件agent,已经在如火如荼的开发。如果这一趋势成型,明年对推理的需求会爆发性增长,而推理的成本需要光速缩小,英伟达也为此准备好了一长串的pipeline,以面向明年开始的推理浪潮。



下面我们就放出这期播客的对谈整理,集合一些关键信息,enjoy:


简要高度浓缩切片版:


1.AGI个人助理,很快就会以某种形式实现(soon in some form),一开始它会非常有用,但并不完美。然后随着时间的推移,它会变得越来越完美,就像所有新技术一样。


2.我们重新发明了计算。很多事情之所以发生,是因为我们在10年内,将计算的边际成本降低了10万倍,而摩尔定律的预测应该是100倍,我们通过多种方式实现了这一点。


3.马斯克对大型系统的工程和建设,以及资源调配的理解是独一无二的,十万个GPU作为一个集群,别人用 4 年完成的事情,马斯克在19天内完成,这就像超人一样。


4.我们正在构建一个完整的 AI 基础设施,并将其视为一台计算机。数据中心现在是计算的单位,当我想到一台计算机时,我不只是想到那个芯片,我想到的是整体,包括软件和内部的所有机械设备,这是我的计算机。我们每年都在尝试构建一台全新的计算机,每年两到三倍的性能提升,并将成本降低两到三倍。


5.我们将在现代化基础设施之上,将会有一个新的基础设施,是操作这些数字人的AI工厂,它们将全天候运行,我们将为世界各地的所有公司提供这些设备。


6.(英伟达很独特。每个员工大约 400 万的收入,每个员工有大约 200 万的利润或自由现金流)英伟达现在有3.2万名员工,我希望有一天能成为一家拥有5万名员工、1 亿个人工智能助手的公司。


7.我们将有一个AI擅长事务的目录,AI也会招募其它AI来解决问题,它们还会在Slack频道里面交流。我们就是一个庞大的员工群体,其中一些是数字化的 AI,另一些则是生物体的人类,我还希望某天其中一些会是电子化的机器人。


8.开源 vs 闭源,和安全有关,但不仅仅是安全的问题。举个例子,用闭源模型显然是完全没问题的,这是保持创新所必须的。不是闭源或开源,应该是闭源和开源。开源是促进很多行业的必需品,现在如果没有开源,那么多科学领域如何发展?它们都从 AI 的发展中受益了。


9.我每天都在使用 AI,我的每一项研究都涉及到人工智能。所有问题,即使我知道答案,我也会用人工智能验算一下。令人惊讶的是,我往往在追问的两三个问题中,知道了一些我不知道的东西。AI也能作为头脑风暴的伙伴,仔细检查我的工作。


以下,原对话全文版:


1
AI加速与AGI私人助理


Brad Gerstner:今年的主题是将“规模化AGI”。令人难以置信的是,当我们两年前做这件事时,那是在ChatGPT前两个月。想想所有的改变。所以我想我们可以做一个思想实验:如果我通俗地认为AGI是我口袋里的个人助理。如果我把AGI想象成口语助手,它了解我的一切,对我有着完美的记忆,可以与我交流,可以为我预订酒店,或者为我预约医生。如今世界变化得太快了,你认为我们什么时候会在口袋里放这个个人助理?


黄仁勋:很快就会以某种形式出现(soon,in some form)。而且随着时间的推移,这个助理会越来越好。这就是我们所知道的美妙技术。所以我认为一开始它会非常有用,但并不完美。然后随着时间的推移,它会变得越来越完美。就像所有的技术一样。



Brad Gerstner:当我们看变化的速度时,马斯克曾经说过真正重要的是变化速度(rate of change),看起来变化速度已经提升了很多。你认为现在是变化速度最快的时候吗?


黄仁勋:这是因为我们重新发明了计算。很多事情之所以发生,是因为我们在10年内将计算的边际成本降低了100000倍,摩尔定律应该是100倍左右。我们通过多种方式实现了这一点。


首先,我们引入了加速计算,将CPU上效率较低的工作放在GPU上。我们通过发明新的数值精度来实现这一点。我们通过新的架构来实现这一点,发明了张量核心,以系统的方式构建MV Link,以及非常非常快的内存、以及使用MV Link进行扩展并在整个堆栈上工作。基本上,我描述的关于英伟达如何做事的一切都导致了超摩尔定律的创新速度。


现在真正让人惊奇的是,从此之后,我们从人工编程转向了机器学习。机器学习的神奇之处在于,机器学习可以学得非常快,事实证明如此。


因此,当我们重新制定分配计算的方式时,我们做了很多,各种并行性。张量并行性,各种管道并行性。我们擅长在此基础上发明新算法和新训练方法,所有这些技术,所有这些发明都是相互叠加的结果。


回顾过去,如果你看看摩尔定律是如何运作的,软件是静态的。它是预编译的,就像放入商店的收缩筏一样。它是静态的,下面的硬件以摩尔定律的速度增长。


现在,我们整个堆栈都在增长,整个堆栈都在创新。所以我认为,现在我们突然看到了扩展。


这当然是非凡的。但我们过去谈论的是预训练模型和在那个层面上的扩展,以及我们如何将模型大小翻倍,因此相应地翻倍,数据大小也翻倍。结果,所需的计算能力每年增加四倍。


这是一件大事。但现在我们看到了后训练的扩展,我们看到了推理的扩展。所以人们过去认为预训练很难,推理很容易。现在一切都很难。这很有道理,但认为人类的所有思维都是一次性的想法有点荒谬。所以,必须有一个快速思考、慢速思考、推理、反思、迭代和模拟等概念。现在它正在出现。


2
英伟达的竞争优势


Clark Tang:我们知道也有人在研发新芯片,有时候他们能做出一些浮点数更高或者其它性能更优的芯片。但英伟达有自己的「护城河」,那就是你们拥有从硬件到软件的整个堆栈。你觉得这三四年来你们的护城河是变大了还是变小了?

黄仁勋:有更高算力的芯片确实很重要,但不幸的是,那是老式思维 —— 认为软件是静态的,改进系统的最好方法是生产更快的芯片。但我们认识到机器学习不是人类编程,它并不只与软件有关,而是涉及整个数据管道。机器学习就像是一个飞轮,能让数据科学家和研究者更有生产力,而很多人没有认识到:一开始启动这个飞轮的是让 AI 去调整数据,而那个 AI 本身就已经很复杂了。


现在我们有合成数据生成以及各种调整数据的方法,这方面的 AI 也越来越聪明。也就是说在训练之前,就已经涉及到大量数据处理了。很多人认为 PyTorch 就是一切了,但不要忘了,PyTorch 之前有大量工作,PyTorch 之后也有。


这就像是一整套飞轮。我们需要设计一个计算系统让这个飞轮尽可能有效地运转。训练只是其中一环。而这个飞轮的每个环节都很困难。OpenAI、X、DeepMind 他们做的事情并不简单。就算你能加速其中一个环节,也并不代表你能够加速整个流程。而我们能够加速整个流程。


以物理 AI 和视频处理系统为例,每秒处理的数据量可高达 TB 级。我们需要一个工作流程将这样庞大的数据变成训练可用的数据,而这个过程可以使用 CUDA 来加速。


Tang:现在人们主要关注文本模型,但未来是视频模型以及 o1 这样的文本模型。这都需要在得到结果之前处理大量数据。




3
AI 推理和训练的未来


Clark Tang:现在人们都在关注推理。你认为现在我们处于推理时代吗?


黄仁勋:其实训练就是大规模推理。如果训练得很好,那么推理也会做得很好。如果你基于这个架构构建,那么就能在这个架构上运行,当然你也可以针对其它架构进行优化。


当然,在资本投入方面,当你训练新模型时,你希望用你最好的新设备进行训练。而你之前的设备可以用于推理。这对你来说就是免费的。为此,我们非常重视确保兼容性,这样旧设备也能出色地发挥作用。


我们也投入了大量精力来不断地重新发明新算法,这样当时机成熟时, Hopper 架构会比他们购买时好两、三、四倍。但同时,你的基础设施仍然能有效运行。


因此,我们在改进算法和框架方面的所有工作都有助于各种安装基础。Sam 告诉我他们刚刚停用了 OpenAI 的 Volta 基础设施。另外,我们也希望在云端创造的东西也能在边缘设备上完美地运行,所以这种架构兼容性很重要。


为训练 LLM 设计新架构让我们受益,我们也在思考如何在某一天创造出优秀的推理架构。


4
构建 AI 基础设施

Brad Gerstner:本周早些时候和 Andy Jassy(亚马逊总裁兼CEO)一起吃饭,Andy说,我们有 Tranium、Inferentia 即将到来。我认为大多数人再次将这些视为英伟达的问题。但接下来,他说英伟达是我们的重要合作伙伴,并且将继续是我们的重要合作伙伴。就我所见,未来世界将依靠英伟达。


所以当你想到正在构建的定制ASIC时,它们将用于目标应用。也许是Meta的推理加速器,也许是亚马逊的训练,或者谷歌的TPU。然后你想想你今天面临的供应短缺,这些因素会改变这种动态吗?或者它们会补充他们从你那里购买的系统?


黄仁勋:我们正试图做不同的事情。正如你所知,NVIDIA 正尝试为这个新的世界——机器学习世界、生成式 AI 世界、智能体世界——构建一个计算平台。


在经历了 60 年的计算技术发展之后,我们彻底改革了整个计算堆栈,从编程到机器学习软件编写方式,从 CPU 到 GPU 的软件处理方式,从传统软件到人工智能的应用转变,从软件工具到人工智能的转变。因此,计算堆栈和技术堆栈的每一个方面都已经发生了变化。


我们想要创建的是一个无处不在的计算平台,这实际上是我们工作的复杂性所在。


如果你考虑我们所做的事情,我们正在构建一个完整的 AI 基础设施,并将其视为一台计算机。


我曾经说过,数据中心现在是计算的单位。当我想到一台计算机时,我不只是想到那个芯片,我想到的是整体,包括软件和内部的所有机械设备,这是我的计算机。我们每年都在尝试构建一台全新的计算机,这是之前从未有人做过的事情。我们每年都能交付两到三倍的性能提升,每年将成本降低两到三倍,每年将能效提高两到三倍。


因此,我们要求我们的客户不要一次性购买所有设备,而是每年购买一点。这样做的原因是,我们希望他们能够将成本平均分摊到未来。所有这些都是架构兼容的。


Brad Gerstner:是什么促使你每年都这样做


黄仁勋:整个电子生态系统如何致力于与我们合作,最终构建一个集成到各种不同生态系统中的计算机方块,并且协调工作非常流畅。


显然,这涉及 API、方法论、商业流程和设计规则。


我们发明了庞大的计算基础设施,它被整合到了每一个地方,可以通过 Dell 或 HP 销售,也可以在云端托管,甚至应用于边缘计算,人们在机器人系统中使用它,包括人形机器人和自动驾驶汽车,所有这些都是架构兼容的。


至于我们公司,我们不是为了从别人那里夺取市场份额,而是为了创造市场。如果你看看我们公司的介绍,你会发现我们从不谈论市场份额,我们讨论的全是如何解决下一个问题,如何做得更好,如何加快从一年缩短到一个月的速度。我们考虑所有这些不同的事情,但我们非常清楚我们的使命是非常单一的,唯一的问题是这个使命是否必要。所有伟大的公司都应该具有这样的问题:你在做什么,它是否必要,它是否有价值,它是否有影响,它是否帮助了人们。


作为一位开发者,如果你是一个 AI 初创公司,正在决定如何成立公司,你唯一不需要做的选择是支持哪一种 ASIC。如果你支持 CUDA,你可以走向全世界,以后也可以随时改变主意。我们是进入 AI 世界的入口,一旦你决定加入我们的平台,其他的决定可以推迟,你总是可以稍后自己构建 ASIC,我们对此并不反感。


我们与各大云服务提供商(例如 Google Cloud Platform、Azure)合作时,我们会提前几年向他们展示我们的路线图,尽管他们不会向我们展示他们的 ASIC 路线图,这也不会让我们感到被冒犯。我们的路线图在 GTC 上是透明的。即使合作伙伴正在构建自己的 ASIC,我们也没有任何问题。


Brad Gerstner:你最近说过人们对 Blackwell 的需求简直疯狂。你说你工作中最困难的部分之一是在计算资源短缺的世界中向人们说「不」。回想 2023 年初,那时对 Nvidia 全年的预测是 260 亿美元的收入,但实际上你们做到了 600 亿美元,是吧?


那是在 2022 年 11 月,有人告诉我如果你无法算出投资我们公司的利润,那就买 Nvidia 股票吧,因为全世界的人都在试图获取 Nvidia 芯片来构建将改变世界的应用程序。当然,ChatGPT 的出现标志着新纪元的到来。


你曾用非常简单的英语说,Blackwell 的需求是疯狂的,而且将来也会这样,尽管未来是未知且无法预测的。


黄仁勋:谈论未来最好的方式是从基本原理出发进行推理。那么问题来了,我们正在做的事情的基本原理是什么?


首先,我们在做什么?我们正在做的第一件事是重新定义计算,未来的计算方式将高度依赖机器学习。


现在几乎每一个应用程序,比如 Word、Excel、PowerPoint、Photoshop,它们都是手工设计的。我向你保证,未来它们将高度依赖机器学习,而且还会有智能体帮助你使用它们。


所以,我们现在可以肯定地说,我们已经重新定义了计算,整个计算技术堆栈正在被重新定义。此外,软件将会有所不同,软件能写的内容将会有所不同,我们使用软件的方式也会有所不同,所以这些都是基本事实了。




5
新的基础设施,将是运行数字人的AI工厂


Brad Gerstner:你正在与那些需要进行现代化改造的人进行对话。


黄仁勋:是的。他们正在用GPU进行现代化改造。让我们再做另一个测试。你有500亿美元的资本支出想花。方案A,方案B。为未来建设资本支出,还是像过去一样建设资本支出。现在,你已经有了过去的资本支出,对吧?


它就在那里。它并没有变得更好,而且它基本上已经走到尽头了。那么为什么要重建它呢?让我们拿出500亿美元,投入到生成式AI中。不是吗?所以现在你的公司变得更好了。那么,这500亿美元中你愿意投入多少?嗯,我会投入500亿美元的100%,因为我背后已经有四年的过去基础设施了。


所以现在我只是从第一性原理思考这个问题的角度出发进行思考。这就是他们在做的。聪明的人正在做聪明的事情。现在,第二部分是这样的。所以现在我们有一万亿美元的产能可以建设,对吧?一万亿美元的基础设施。那么,比如说再投入1500亿美元呢?好的?所以我们有万亿美元的基础设施需要在未来四五年内建设。那么,我们观察到的第二件事是软件的编写方式不同,但软件的使用方式也将不同。在未来,我们将拥有代理。不是吗?我们将拥有公司里的数字员工。在你的收件箱里,你会看到所有这些小点和小头像。在未来,将会有AI的小图标。不是吗?我会发送它们。我将不再使用C++编程计算机。我将使用提示来编程AI。不是吗?这与我今天早上的交流没有什么不同。


在我来这里之前,我写了一堆邮件。我是在提示我的团队。我会描述上下文,我会描述我所知道的根本约束条件,我会描述他们的任务。我会足够明确,以便他们理解我的需求,而且我希望明确说明结果应该是什么,尽可能地明确。但我留下足够的模糊空间,也就是创造性空间,这样他们才能给我带来惊喜。这与我今天如何提示AI没有区别,这正是我提示AI的方式。所以将会发生的是,在我们即将现代化的IT基础设施之上,将会出现一个新的基础设施。这个新的基础设施将是运行这些数字人的AI工厂。对。它们将全天候运行,24/7。


我们将为我们遍布全球的所有公司配备它们。我们将把它们放在工厂里。我们将把它们放在自主系统中。所以有一整层计算结构,一整层我所说的AI工厂,而世界今天根本不存在这些。所以问题是,它有多大?目前还无法得知。可能几万亿美元。目前还无法得知。但当我们坐在这里建设时,美妙之处在于,这个现代化改造的新数据中心和AI工厂的架构是一样的。这是好事。


Brad Gerstner: 你已经把这一点说清楚了。你有一万亿美元的旧东西需要现代化改造。你至少还有一万亿美元的新AI工作负载即将到来。或多或少,你今年的营收将达到1250亿美元。你知道,曾经有人告诉你,这家公司永远不会值超过10亿美元。当你今天坐在这里的时候,有没有什么理由,对吧,如果你只有1250亿美元的营收,而总可寻址市场是数万亿美元,你未来不会有2倍,3倍甚至更高的营收增长呢?有什么理由你的营收不会增长呢?


黄仁勋:是的。正如你所知,这并非关乎一切。公司的发展受限于“鱼塘”的大小。金鱼的体型毕竟有限。所以问题是,我们的“鱼塘”是什么?这需要大量的想象力。这也是市场创造者们思考未来、创造新“鱼塘”的原因。反过来试图抢占市场份额很难做到,抢占份额者规模总是有限的。而市场创造者则可以非常大。当然。是的。我认为我们公司很幸运,从一开始,我们就不得不为自身创造一个市场来生存。人们现在已经不记得了,但我们在3D游戏PC市场的开创阶段,很大程度上正是我们创造了这个市场。


6
黄仁勋:OpenAI 是我们这个时代最具影响力的公司之一


Brad Gerstner:众所周知,OpenAI 最近筹集了 65 亿美元,估值约为 1500 亿美元。据报道,他们今年的收入或运营收入约为 50 亿美元,明年可能达到 100 亿美元。如果你看看 OpenAI 现在的业务,其收入大约是谷歌首次公开募股时的两倍。他们大约有 2.5 亿的周平均用户数,我们估计这是谷歌 IPO 时的两倍。


请和我们谈谈 OpenAI 作为合作伙伴对你的重要性,以及 OpenAI 作为推动公众对 AI 的认识和使用的重要作用。


黄仁勋:OpenAI 确实是我们这个时代最具影响力的公司之一,一家纯粹追求通用人工智能(AGI)愿景的 AI 公司。不管它的定义是什么,我几乎认为定义本身并不完全重要。在它达到任何人对 AGI 的定义之前,我们将会把它用到极致。


你所要做的就是去和数字生物学家、气候技术研究者、材料研究者、物理科学家、天体物理学家、量子化学家交谈,去问视频游戏设计师、制造工程师、机器人学家他们的感受。


无论你想选择哪个行业,深入其中和那些重要的人交谈,问他们人工智能是否已经革新了他们的工作方式。然后你收集这些数据点,你对此持有多大的怀疑态度。因为他们讨论的不是人工智能作为一个概念上的好处,他们是在讨论现在就在使用的 AI 所带来的好处。



现在,农业技术、材料技术、气候技术等等正在进步,AI 正在帮助研究者推进工作。现在,正如我们所说,每一个行业、每一家公司、每一所高校,将以某种方式改变业务。


这种改变今天就发生了。所以,我认为 ChatGPT 的觉醒引发了这一切,这完全令人难以置信。我喜欢他们的速度和他们推动这一领域发展的独特目标,这真的意义重大。


7
AI 模型的未来


Brad Gerstner:他们在经济引擎中构建,以资助下一个模型前沿。我认为硅谷日益达成的共识是整个模型层的商品化正在使得很多人能够以非常低的成本构建模型。所以早期,我们有很多模型公司。很多人质疑这些公司是否能构建在经济引擎上的逃逸速度,继续资助下一代模型。我个人认为,这就是为什么你看到了整合。显然,OpenAI 已经达到了那种逃逸速度,他们可以资助自己的未来。对我来说不确定的是,其他公司是否也能做到?


黄仁勋:首先,模型和 AI 之间存在根本的不同。模型是 AI 的一个基本成分。它是必要的,但不是充分的。比如用于自动驾驶汽车的人工智能与用于人形机器人的人工智能相关,但并不是一样的。


因此,你必须了解分类。现在你只需将模型一词替换为 GPU。


有些公司非常擅长制造 GPU,但却不知道如何成为一家加速计算公司,现在不止一家公司在制造 GPU,但它们并不是加速计算公司。尽管有些加速器可用于应用加速,但这与加速计算公司是不同的。


你必须决定你想成立什么样的公司,在不同领域可能都有机会。但就像创建公司一样,你必须留意生态系统的变化以及随着时间的推移哪些东西会被商品化,认识到什么是功能,什么是产品,什么是公司。你可以用很多不同的方式来思考这个问题。


8
黄仁勋:别人用 4 年完成的事情,马斯克用了 19 天


Brad Gerstner:当然,有一家新入局者既有钱、又有智慧、还有野心,那就是 xAI。你认为他们有能力建立超级集群吗?



黄仁勋:答案是肯定的。首先是对他们成就的认可。从概念到建成一个准备好安装 Nvidia 设备的数据中心,再到通电,连接好一切并进行首次训练,这一切都值得赞扬。


在如此短的时间内建造一个巨大的工厂,包括液冷、供电、获得许可,这简直像超人一样。据我所知,世界上只有一个人能做到这一点。埃隆在理解大型系统的工程和建设以及资源整合方面是独一无二的,这简直令人难以置信。当然,他的工程团队也是非凡的,软件团队、网络团队和基础设施团队也很棒。


从规划开始,与我们的工程团队、网络团队、基础设施计算团队、软件团队一起,所有的准备工作都提前完成。然后所有的基础设施、后勤以及在那一天进场的所有技术和设备、视频基础设施和计算基础设施等等,都在 19 天内完成,这实在是不可思议。

所以我认为埃隆所取得的成就是独一无二、前所未有的。十万个 GPU,这简直是地球上搭建最快的超级计算机集群。通常来说,你要建造的超级计算机集群需要三年时间来规划,然后交付设备、安装和运行还需要一年时间。别人要用 4 年完成的事情,埃隆只用了 19 天。


Brad Gerstner:那我们再谈谈 OpenAI 的 o1。Noam Brown 是该模型的核心贡献者之一,他在 Meta 工作时曾有 Libratus、Pluribus 和 Cicero 等成果。Inference-Time 推理(Reasoning)作为扩展智能的全新载体,与仅仅构建更大的模型截然不同,这有多重要?


黄仁勋:这是一件大事。我认为,很多智能无法先验地完成,甚至很多计算都无法重新排序。无序执行可以优先完成,很多事情只能在运行时完成。


无论你是从计算机科学的角度还是从智能的角度来思考,其中大多数的内容都需要考虑上下文以及正在寻找的答案类型。有时,一个快速的答案就足够了。这取决于答案的结果,取决于答案的使用属性。所以,有些答案需要花一个晚上,有些答案需要一周的时间。


所以我完全可以想象我给人工智能发送一个提示,然后告诉它,考虑一个晚上,不要马上告诉我,然后明天再回来告诉我。我认为从产品的角度来看,智能的质量和细分会产生一击即中的版本,当然也会有一些需要五分钟的版本。


Brad Gerstner:「智能层」会将这些问题导向正确的模型,对症下药。使用高级语音模式和 o1 预览版,我辅导了儿子的 AP 历史考试,就像有世界上最好的历史老师坐在旁边思考这些问题。又回到了这个问题上,你知道,你今天 40% 以上的收入都是推理得来的,且推理又得益于推理链。未来还会带来十亿倍的增长,是这样吗?


黄仁勋:没错,这是大多数人还没有完全内化的部分。这就是我们说的工业革命。


Brad Gerstner:所以每个人都非常关注英伟达,在训练更大的模型。想问:是不是如果收入比例变为 50:50,你未来会做更多的推理呢?训练永远是重要的,但推理的增长会比我们希望的多得多。


黄仁勋:是的,我们希望是这样。


Brad Gerstner:你们是否已经使用了推理链等工具来改善自己的业务?


黄仁勋:是的,我们今天的网络安全系统离不开我们自己的智能体。智能体帮助设计芯片,我们有 AI 芯片设计师、AI 软件工程师、AI 验证工程师。我们在内部组建了这些团队,我们有能力而且愿意利用这个机会探索技术。


9
如何真正促进生产力?


Brad Gerstner:英伟达很独特。每个员工大约 400 万的收入,每个员工有大约 200 万的利润或自由现金流。你建立了一种效率文化,而这种文化真正释放了创造力、创新、所有权和责任。你打破了职能管理的模式。每个人都喜欢谈论你所有的直接下属。AI 的杠杆作用将继续让你在高效的同时保持超级创造力。


黄仁勋:毫无疑问。英伟达现在有 3.2 万名员工,我希望英伟达某天将成为一家拥有 5 万名员工的公司,同时会有 1 亿个 AI 辅助我们。我们将有一个 AI 擅长事务的目录。我们的收件箱里面,也会充满这些擅长不同事务的 AI 发来的信息。AI 也会招募其它 AI 来解决问题,它们还会在 Slack 频道里面交流。


当然,它们也会与人类交流。可以说,我们就是一个庞大的员工群体,其中一些是数字化的 AI,另一些则是生物体的人类。我还希望某天其中一些会是电子化的机器人。


Brad Gerstner:人们常误解 AI 会替代人类的工作。但你公司的员工数量还在增长,并且你会用 5 万人完成原本 15 万人才能完成的工作。


黄仁勋:AI 并不会接替每一项工作。AI 将极大地影响人们看待工作的方式。让我们承认这一点,AI 有潜力做很棒的好事,它也有可能造成伤害。


被忽视的部分是,当公司使用 AI 变得更有效率时,就可能带来更好的收益或更好的增长。当这种情况发生时,CEO 的下一封电子邮件很可能就不是裁员。


Brad Gerstner:因为业务在增长,需要更多人。



黄仁勋:这是因为我们有更多的想法可以探索,我们需要人在自动化之前进行思考。当然,AI 也可以帮助我们思考,但也仍然需要我们去弄清楚要解决什么问题。人类可做的事情有很多。因此,随着生产力的提高,我们将雇佣更多的人。人们常忘记这一点。回顾过去,显然我们今天比 200 年前有更多的想法。因此 GDP 更高,就业人数更多了,即便我们一直在大量进行自动化。


Brad Gerstner:有调查说,过去十年是生产力增长最慢的十年。人们还在辩论其原因,但如果世界就像你刚才所描述的那样,我们将利用和制造智能,那么我们的生产力是正处于急剧扩张的边缘吗?


黄仁勋:我们希望如此。当然,你知道,我们生活在这个世界上,所以我们有直接的证据。现在,一个独立的研究人员就能够使用 AI 以难以想象的非凡规模探索科学。这就是生产力。


另外,我们正在设计非常惊人的芯片,其复杂性呈指数级增长,而公司的员工基础并不是衡量生产力的标准。我们开发的软件越来越好,因为我们在使用 AI 和超级计算机来帮助我们。因此,很多行业都有这样的增长。


毫无疑问,智能是世界上已知的最有价值的商品。现在我们要大规模生产它。我们将被 AI 包围。如果它们做得非常好,比你好得多,会发生什么?但反思一下,这就是我现在的生活。我有 60 个向我报告的人,他们在各自领域都比我优秀得多。我与他们互动没有任何问题。对 AI 也是如此。所以我认为人们将会学到的是:他们都将成为 CEO,成为 AI 智能体的首席执行官。


10
如何确保安全地开发AI?


Brad Gerstner:我们来谈谈 AI 的安全和监管吧。我们是在正确的道路上吗?你认为我们该如何确保 AI 是有利的,而不会导致一个反乌托邦的世界。


黄仁勋:关于安全的对话非常重要和有益。AI 是一个巨大的神经元网络,是一个很抽象的观念。人工智能和大型语言模型确实相关,但并不一样。现在这方面有很多出色的工作。


一、开源模型,这样一来,整个研究社区、每个行业和每个公司都可以参与 AI,将这种能力用在自己的应用中。


二,人们在发明 AI 来保证 AI 安全,人们低估了这方面的技术。比如用 AI 来整理数据、对齐 AI、合成数据来扩展 AI 知识、减少幻觉、监控其它 AI、创建安全护栏等等。整个行业都在为之努力,包括方法论研究、红队研究、工作流程、模型卡、评估系统、基准测试系统…… 人们正在以非常快的速度构建各种工具。但这些努力都被低估了,没有得到应有的赞誉。


这是这些智能体、不同功能构建的理由。我们再次回到了第一性原理。


Brad Gerstner:我们必须回到开源的话题上。你们发布了规参数很大、非常重要且可用的开源模型。


黄仁勋:最近是 Nemotron。


Brad Gerstner:很明显的是,Meta 对于业界有重要的开源贡献。推特上都是大模型开源 vs 闭源的讨论。如何保证你们自己的开源大模型一直处于前沿水平?第二个问题,在商业项目中,既有开源大模型,也有闭源模型的情况,是否会是未来合理的生态,这样安全吗?


黄仁勋:开源 vs 闭源,和安全有关,但不仅仅是安全的问题。举个例子,用闭源模型显然是完全没问题的,这是保持创新所必须的。我全心全意支持这一点。不是封闭或开源,应该是封闭和开源。开源是促进很多行业的必需品,现在如果没有开源,那么多科学领域如何发展?它们都从 AI 的发展中受益了。


因为他们必须开发自己特定领域的人工智能,因此必须使用开源模型来开发特定领域人工智能。它们是相关的,但又不是一回事。只是因为你有一个开源模型并不意味着你就有了人工智能,所以你必须有那个开源模型来创建人工智能。


所以,金融服务、医疗保健、运输等一系列行业现在因为开源而活跃。这令人难以置信。


Brad Gerstner:你们的开源大模型需求量很大吗?


黄仁勋:首先不得不提的是行业老大 Llama,扎克伯格他们的成果太棒了,是难以估量的,很大程度上促进了每一个行业、科技领域。


我们把 Nemotron 定位于生成合成数据。直观的想法是,一个人工智能会在那里循环生成数据,自我学习,这听起来很脆弱,你可以无限循环多少次,这个循环值得怀疑。但这有点像我脑海中的一个画面 —— 就像你把一个超级聪明的人关进一个舒适的房间,关上门,大约一个月,你知道出来的可能不是一个更聪明的人。


但理论上你可以让两三个人坐在一起,我们有不同的人工智能,我们有不同的知识分布,我们可以互相提问回答,这样每个人都会变得更加聪明。


所以,你可以让人工智能模型进行交流、互动,来回辩论,强化学习并合成数据生成,这种想法在直觉上是有道理的。我们的模型 Nemotron-4 340B 是世界上最好的奖励系统模型。


它是最好的批评家,这是一个增强其他所有模型的绝佳模型。所以不管别人的模型有多棒,我都建议使用 Nemotron-4 340B 来增强和改进它。我们已经看到 Llama 变得更好,其他所有模型也都变得更好。


11
使用AI工作的乐趣


Brad Gerstner:我们的采访快要结束了。


黄仁勋:谢天谢地(笑)。


Brad Gerstner:作为 2016 年交付了 DGX-1 的人,这真是一段不可思议的旅程,你们走过的旅程既不可思议又令人难以置信。你们存活了下来 —— 从 2016 年的 DGX-1 到 2022 年技术突破的出现。


所以有一个问题我也经常被问到,你能够坚持今天所做的事情多久?60 份报告都在说,英伟达无处不在,你们在引领这场变革。你觉得现在很享受吗?有没有想要做的其他事?


黄仁勋:一个半小时的采访后,你就想问这个?(笑)


回答是:这是一段很棒的经历,我无法想象还能做什么更好的事了。


我认为,我认为不应该给人留下这样的印象,即我们的工作总是充满乐趣。我的工作并不总是充满乐趣,我也不指望它总是充满乐趣,我曾经期望它总是充满乐趣。我认为这一直很重要,是的。


我不会太认真对待自己,我非常认真地对待工作,我非常认真地对待我们的责任,我非常认真地对待我们的贡献和我们的时机。 


这总是充满乐趣吗?不是的。但我是不是一直深爱着这份事业?是的。就像所有的事情一样,无论是家人、朋友、孩子,总是充满乐趣吗?不是的。但我们总是深深地爱着他们。


所以,我能做多久?真正的问题是,我能坚持多久。这唯一重要的信息是,这个问题只能用我将如何继续学习来回答。不过可以确定的是,我今天更加乐观了。我这么说不仅仅是因为我们今天的主题,我对自己的能力更加乐观,保持关注并继续学习,因为人工智能。


是的,我在使用它,我不知道你们是怎样的,我每天都在使用 AI。我的每一项研究都涉及到人工智能,所有的问题,即使我知道答案,我也会用人工智能验算一下。令人惊讶的是,我接下来追问的两三个问题揭示了一些我不知道的东西。你只需要选择话题。


我认为人工智能作为导师、作为助手、也能作为头脑风暴的伙伴,仔细检查我的工作。这是完全革命性的,我是一名信息工作者,我的输出是信息,所以我认为,这一切对社会的贡献都是非凡的。这样我就能保持跟进,我就可以继续做出贡献。


我知道这项工作对我来说非常重要,我想继续从事下去。我的生活质量令人难以置信。


Brad Gerstner:我无法想象你和我已经在这个领域工作了几十年,我无法想象错过这一段经历。这是我们职业生涯中最重要的时刻,我们非常感谢这种合作关系。


黄仁勋:不要错过未来 10 年。


Brad Gerstner:你会让 AI 变得更聪明。谢谢你的讲述,真的非常享受。


黄仁勋:非常感谢 Brad,谢谢 Clark。


原视频链接:https://www.youtube.com/watch?v=bUrCR4jQQg8


References:
1.机器之心:OpenAI是这个时代最具影响力公司之一,马斯克19天创造工程奇迹

2.OpenESG易思捷思:英伟达黄仁勋:智能是世界上已知最有价值的商品,现在我们将大规模生产

3.web3天空之城:黄仁勋深度解读AI时代的机遇与挑战


也许你还想看:

经纬张颖:2023,不只克服困难而是习惯困难 

经纬徐传陞:做VC这么多年,人们总在问我同一个问题 

经纬张颖内部讲话:2024,四大关键决策

经纬2023年终盘点:Adaptability is the key to thriving