英伟达创始人黄仁勋，近期接受Youtube频道No Priors专访，介绍计算性能指数级增长、数据中心规模计算、训练与推理基础设施等重要性，预测AI对科学、工程、各行各业变革性影响，包括AI在芯片设计中应用、AI具身化、AI员工等，描绘由AI驱动的未来世界，强调英伟达角色定位，从简单的电脑制造商，转变为构建AI工厂的企业。
OpenAI CEO Sam Altman，与YC总裁Garry Tan，近期开展一场创业对谈，Sam强调AGI并非遥不可及，AGI到来可能比很多人预想要快，描述从聊天机器人，到智能体、推理器，再到创新者的AGI发展路径。Sam鼓励初创公司利用AI赋予创新力，实现小团队、高效率运作模式，设想未来将出现员工少于100人、甚至仅由1个人与强大算力组成的公司。
本期长期主义，选择黄仁勋接受Youtube频道No Priors专访、Sam Altman与YC总裁Garry Tan对谈，瓜哥AI新知发布，六合商业研选精校，分享给大家，Enjoy！
黄仁勋专访：像交付iPhone一样交付开箱即用的AI数据中心、租用AI芯片设计师为自己工作
2024年11月7日，Youtube频道No Priors发布黄仁勋专访内容。
计算指数级增长：
NVIDIA目标是在未来10年内，每年将计算性能，以数据中心规模衡量翻倍或三倍，将成本与能耗降低一半或1/3，这将导致超摩尔定律的增长曲线。实现这一目标的关键，在于协同设计co-design与数据中心规模的计算。
协同设计与全栈方法：
为实现指数级增长，NVIDIA采用协同设计方法，优化算法与架构，包括在不同精度级别FP64~FP4之间进行切换，将网络作为计算结构的一部分。
数据中心规模的计算：
NVIDIA将网络视为计算结构，通过技术如NVLink，将数百个GPU整合为一个虚拟GPU，实现极低延迟与高吞吐量，平衡这两个通常相互冲突的需求。他们将数据中心视为计算的基本单元，构建全面、垂直整合的数据中心解决方案。
训练与推理基础设施的可互换性：
为训练构建的基础设施，同样适用推理。大型模型用于训练与知识蒸馏，产生更小、更高效模型，用于特定任务。
CUDA
生态系统与软件生产力：
CUDA提供稳定的基础，允许在软件层面快速迭代。NVIDIA致力维护软件，确保在不同硬件与平台兼容性，最大限度提高软件开发者生产力。
快速部署大型AI集群的能力：
NVIDIA展示为xAI快速部署拥有10万GPU超级集群的能力，受益于在供应链、软件集成、数字孪生方面的预先规划与准备工作。
未来超级集群的挑战：
构建更大规模的超级集群，例如，20万、50万，甚至100万GPU，将面临能源、供应链、资本等多重挑战，NVIDIA认为这些挑战并非不可克服。
AI
对科学与工程的影响：
AI与机器学习，正在彻底改变各科学与工程领域，从芯片设计到材料科学、生物技术等，NVIDIA认为AI正成为这些领域发现与创新的基础。
AI
芯片设计：
AI已经成为芯片设计关键工具，能探索比人工设计更大的设计空间，找到更好的局部最优解。
NVIDIA
的未来：
从电脑到工厂，NVIDIA已经从简单的电脑制造商，转型为构建AI工厂的企业，生产用于各种应用的智能，无论是机器人、软件，还是其他形式智能。这种转型，将对各行业产生深远影响。
AI
具身化：
NVIDIA认为，AI与机器人技术即将融合，创造出例如自动驾驶汽车与具身机器人等应用，最终实现更广泛AI具身化。
AI
员工出现：
未来，AI将成为各种角色的员工，协助人类工作，从营销到供应链管理等各领域。这些观点共同描绘NVIDIA对未来AI与计算的愿景，强调指数级增长、协同设计、数据中心规模计算，AI对各行业与科学领域变革性影响的重要性。
主持人Sarah：
我们上次与英伟达创始人、CEO黄仁勋对话1年后，我们再次与他相聚。
英伟达市值超过3万亿美元，它是引领AI革命关键力量。我们很高兴来到英伟达总部，讨论前沿模型、数据中心规模计算、英伟达在未来10年所做的押注。
英伟达已经发展30年，展望未来10年，你认为哪些重大押注仍然需要进行？未来是否一切都将围绕规模化展开？在如何从现有架构中挤出更多计算内存方面，我们是否遇到瓶颈？你目前关注的是什么？
黄仁勋：
我们如果回顾所做的事情，会发现，我们从编写代码到机器学习，从编写软件工具到创建AI，所有这些，之前都运行在为人类编码设计的CPU上，现在运行在为AI编码，是机器学习设计的GPU上，世界已经发生变化。
我们进行计算的方式，整个技术栈都发生变化。我们可以解决问题的规模，也发生很大变化。如果可以在GPU并行化你的软件，你就为在整个集群上，或者在多个集群或多个数据中心上进行并行化奠定基础。
我认为我们已经准备好，以从未想象过的水平，来扩展计算能力、开发软件，我们正处于这一阶段开始。
接下来10年里，我们希望能每年将规模化的性能提高一倍或三倍，而不是仅提高芯片性能；能将成本降低两倍或三倍，将能耗降低两倍或三倍，每年如此。
当你每年都这样做，每年都翻倍或三倍时，几年后就会累积起来，它的增长速度非常快。如果人们对摩尔定律看法是每隔几年翻一番，我毫不怀疑，我们将遵循某种超摩尔定律曲线，我们将继续这样做。
主持人Elad：
你认为是什么驱动因素，使得这一速度甚至超过摩尔定律？我知道摩尔定律某种程度上是自我实现的预言，这是他说的，人们努力实现它。
黄仁勋：
两个基本支柱，一个是Dennard缩放，另一个是Carver-Mead的VLSI缩放。这两种技术都是严谨的技术，这些技术已经走到尽头，现在我们需要新的缩放方式。新的缩放方式，与协同设计有关。除非你可以修改或改变算法以反映系统架构，改变系统以反映新软件架构，反复进行。
除非你可以控制两方面，否则你没有希望。如果你可以控制两方面，可以做一些事情，比如从FP64到FP32、到BF16、到FP8、到FP4，甚至到谁知道是什么，我认为协同设计是其中非常重要的一部分。
第二部分，我们称之为全栈。第二部分是数据中心规模，除非你可以将网络视为计算结构，将大量工作推入网络，将大量工作推入结构中。
你正在进行压缩，在非常大的规模进行压缩。这就是为什么我们收购Mellanox，开始如此积极融合InfiniBand与NVLink的原因，现在看NVLink将走向何方。
计算结构将扩展出看起来像一个不可思议处理器的东西，叫GPU。现在我们得到数百个GPU，将一起工作。现在我们面临许多计算挑战中，最令人兴奋的是推理时间缩放，它与以极低的延迟生成Token有关。
黄仁勋：
正如你刚才提到的，你是在进行自我反思。我意思是，你将进行树搜索，进行链式思维，可能还会在脑海中进行一定程度模拟。
你还会反思自己答案，会默默提示自己并生成文本，希望在一秒内做出回应。
与此同时，数据中心仍在产出高吞吐量的Token，你仍然想要降低成本，想要保持高吞吐量，想要获得回报。
工厂的这两个基本要素，低延迟与高吞吐量，相互矛盾。
为创造出在这两方面都非常出色的东西，我们必须发明一些新的东西，NVLink正是我们实现这一目标的方式。
现在你拥有虚拟GPU，它具有难以置信的浮点运算能力，你需要它来处理上下文。你需要大量内存，工作内存，拥有难以置信的Token生成带宽。
主持人Elad：
我想，与此同时，所有构建模型的人，也在对这些东西进行非常显著的优化。David与我的团队提取的数据显示，过去大约18个月里，用于GPT-4等效模型的百万Token成本，下降240倍。在这方面，也进行了大量优化与压缩。
黄仁勋：
仅在我们这一层，在我们工作的这一层。我们非常关注的一件事，是我们堆栈的生态系统与软件的生产力。
人们会忘记这一点，你有了CUDA基础，这是坚实的基础，其上的一切都可以改变。
如果基础在你脚下发生变化，在上面建造建筑物很困难，也很难在其上创造任何有趣的东西。
CUDA使我们能如此快速迭代，就在2023年，我认为我们回顾，基准测试Llama首次发布时的性能，我们将Hopper性能提高5倍，而无需更改顶层的算法。
1年5倍提升，使用传统计算方法不可能，借助加速计算与这种代码设计方式，我们能发明各种新事物。
主持人Sarah：
你们最大的客户，在多大程度上考虑在其大型训练与推理之间基础设施的可互换性？
黄仁勋：
如今的基础设施是分散的。Sam刚告诉我，他最近退役Volta。
他们有Pascal、Ampere，各种不同配置的Blackwall。
有些针对风冷优化，有些针对液冷优化。你的服务，必须利用所有这些。
英伟达的优势在于，你今天为训练构建的基础设施，明天将非常适合推理。
我相信大部分ChatGPT，都在最近训练的同类型系统上进行推理。
如果可以在其上训练，也可以在其上进行推理，你留下了一条你已知将非常擅长推理的基础设施轨迹。
你可以完全确信，你可以将你已有的投资回报，投入到新基础设施中，进行扩展，你知道你将留下一些有用的东西。
你知道英伟达与生态系统的其余部分，将致力改进算法，以便你的其余基础设施在短短1年内，就能提高5倍，这种发展态势不会改变。
人们对基础设施的思考方式，我今天是为训练而构建它，它也必须适合训练，我们知道它将非常适合推理，推理将是多尺度的。
首先，为蒸馏更小模型，拥有更大模型来蒸馏，是很有好处的。
你仍然会创建令人难以置信的前沿模型，它们会被用于开创性工作。你将使用这些模型，大型模型来训练小型模型，蒸馏成小型模型，你可以做很多不同的事情。
最终，你将拥有从大型模型到小型模型的所有模型。小型模型将非常有效，泛化能力不如大型模型，但仍然非常有效。它们将在一个特定小领域内，非常出色执行一项任务。
我们将从一个小小的模型中，看到在一个小小的领域内，完成超人水平的任务。
也许它不是一个小语言模型，而是一个微型语言模型，TLM或其他什么。我认为我们将看到各种规模的模型，我们希望如此，这就像今天的软件一样。
我认为在许多方面，AI使我们能在创建新应用程序的便捷性方面，取得新突破。计算的方方面面，在很大程度上保持不变。
例如，维护软件的成本极其昂贵。一旦你构建了它，你希望它能在尽可能广泛的安装基础上运行，你希望不要重复编写相同软件。
很多人仍然有同样想法，你希望让你工程师继续前进。如果架构允许你一方面创建今天运行的软件，明天随着新硬件出现运行得更好，那就太好了。
或者你明天创建的软件，你明天创建的AI，可以在广泛的安装基础上运行，你认为这很棒。这种对软件的思考方式，不会改变。
主持人Sarah：
英伟达已经转向更大规模的，比如说，客户支持单元。我认为它从单个芯片发展到服务器，再到机架与VL72。你如何看待这种发展？下一步是什么？英伟达应该建设完整的数据中心？
黄仁勋：
我们构建完整的数据中心。我们构建一切的方式，除非你正在构建，如果你是开发软件，你需要计算机的完整体现。
我们不会只制作PPT，并交付芯片，我们会建造一个完整的数据中心。
在我们构建完整的数据中心之前，你怎么知道软件是否有效？你架构是否有效？你期望的效率，你怎么知道它在规模上是否真正有效？这就是为什么看到某人的实际性能，可能远低于PPT中所示的峰值性能。
计算不再是过去的样子，我认为新的计算单元是数据中心，这对我们来说如此。这就是你必须交付的，也是我们所构建的。
现在，我们构建完整的东西。对每一件事、每一种组合，风冷、x86、液冷、Grace、以太网、InfiniBand、NVLink、无NVLink，我们构建每一种配置。
英伟达今天拥有5台超级计算机。2025年，我们将轻松再建造5台。如果你认真对待软件，你就需要自己构建计算机。如果你认真对待软件，你将构建整台计算机，我们大规模构建它，这部分非常有趣。我们大规模构建它，垂直整合。我们对其进行全栈优化，我们将所有东西解耦，将其分拆出售。这部分是我们所做工作的真正非凡之处，复杂性简直令人难以置信。
这样做的原因是，我们希望能将我们基础设施，移植到GCP、AWS、Azure、OCI。它们所有的控制平面、安全平面都不同，它们对集群大小的考虑方式完全不同。
我们仍然使它们能适应NVIDIA架构，以便CUDA能无处不在。
最终，这才是唯一的思想，我们希望拥有一个开发人员可以使用，大致一致的计算平台，这里或那里可能有10%的差异，人们基础设施略有不同，这里或那里可能有10%差异。他们构建的所有内容，都可以在任何地方运行。
这是一种软件原则，永远不应放弃，我们非常珍惜它。它使我们软件工程师能一次构建，随处运行。
这是我们认识到，软件投资是最昂贵的投资，它易于测试。
看整个硬件行业规模，再看世界各行各业规模。它在这个万亿美元的行业之上，还有100万亿美元，这说明了一些问题。
你构建的软件，必须维护到你生命结束的那一天，我们从未放弃任何软件。CUDA被使用的原因，是我告诉每个人，我们将维护它，直到我们生命结束。我们是认真的，我们仍在维护。
我前几天，才看到一篇评论。NVIDIA Shield，我们的Android电视，它是世界上最好的 Android电视。我们7年前发布了它，它仍然是人们，任何喜欢看电视人排名第一的Android电视。我们在上周更新软件，人们为此写了一篇新报道。
GeForce，我们在全球拥有3亿游戏玩家，我们从未放弃过其中任何一个。我们架构能在所有这些不同领域间兼容，这使得我们可以做到这一点。否则，如果没有这种架构兼容性，我们软件团队规模将是今天公司规模的100倍。我们对此非常重视，这转化为对开发人员的益处。
主持人Elad：
最近的一个令人印象深刻的佐证，是你们如何快速为xAI建立集群。如果你想谈这个，这在规模与速度方面都令人瞩目。
我认为，首先，决定做某事，选择场地，为其配备冷却系统与电力，决定建造拥有10万GPU的超级集群，这是单体规模最大的同类集群。
所有组件、所有原始设备制造商、所有系统、我们与他们团队进行所有软件集成、所有网络模拟，我们模拟所有网络配置。
我意思是，就像我们预先准备所有东西作为数字孪生体一样，我们预先准备所有供应链，我们预先准备所有网络布线，我们甚至建立一个小型版本，就像，只是一个初始实例。
地面实况、参考零、系统零，在其他所有东西出现之前。当所有东西出现时，一切都已准备就绪。所有练习都已完成，所有模拟都已完成。
大规模集成，那样大规模集成也是一项壮举，庞大的团队日夜不停互相配合，连接好一切。
几周之内，集群就启动了，这真正证明他的意志力，他如何能思考机械方面的事情、电气方面的事情，克服显然是非凡的障碍。
在那里所做的事，是第一次以这种速度完成如此大规模的计算机。
除非我们两个团队都在合作，从网络团队到计算团队，到软件团队，到训练团队，基础设施团队，从电气工程师到软件工程师，所有团队都在一起工作，这真是令人惊叹的壮举。
主持人Sarah：
工程角度看，哪个挑战最有可能成为阻碍？
黄仁勋：
只是必须整合在一起的大量电子设备。我意思是，也许值得测量一下，这是吨位计的设备，这很不寻常。
通常这样的超级计算机系统，你会计划几年。从第一个系统交付的那一刻起，到你可能提交所有内容进行一些严肃工作的那一刻，如果是1年时间，不要感到惊讶。
这种情况经常发生，并不异常。现在，我们负担不起那样做，几年前，我们公司启动一项名为数据中心，即产品的计划。
我们不把它作为产品出售，我们必须像对待产品一样对待它。关于它的所有规划，启动它、优化它、调整它、保持它的运行。目标是它应该就像打开你漂亮的新iPhone一样，你打开它，一切都会自动运行。让它像那样需要技术奇迹，我们现在具备这样的能力。如果你对数据中心感兴趣，只需给我一个空间、一些电力、一些冷却系统，我们将在30天内帮助你安装好，这非常了不起。
如果你想想，展望未来，拥有20万、50万、100万超级集群，或者那时你称之为其他的东西。
你认为最大障碍是什么？资金？能源？某一方面的供应？
黄仁勋：
你刚才提到的规模，没有任何一样是正常的，但没有什么是不可能的。没有，没有任何物理定律的限制，但一切都会非常困难。
要得到我们能认作是计算机的东西，如此轻松、如此能完成我们要求它做的事情，或者某种AGI。
我们可以争论，它真的是AGI吗？仅接近它，就是奇迹。我们知道这一点，我认为有五六种努力，可以尝试实现这一目标。
我认为，OpenAI、Anthropic、xAI、还有谷歌、Meta、微软。这个前沿领域，攀登这座山接下来的几步至关重要。
我认为，彻底重塑智能的奖赏，重要性实在太大，不容错过。我认为没有任何物理定律的限制，一切都会非常困难。
主持人Sarah：
1年前，我们一起谈话时，我们问你对英伟达接下来在AI与其他领域最期待的应用是什么。
你谈到你是如何让你最苛刻的客户引导你前进，以及一些科学应用。
我认为在过去1年里，这已经成为你的主流观点。你仍然最兴奋的是科学、AI在科学中的应用？
黄仁勋：
我喜欢我们拥有数字化的AI芯片设计师，我喜欢我们有AI软件工程师。
主持人Sarah：
如今AI芯片设计师的效率如何？
黄仁勋：
非常高。如果没有AI，我们无法构建Hopper。
它们可以探索比我们更大空间，它们拥有无限时间，它们运行在超级计算机上。
我们使用人类工程师的时间非常少，因此我们没有探索我们应该探索的那么多的空间，我们也无法组合探索它。我无法在我的探索中包含你的探索，以及你的探索。
我们芯片非常大，不像设计成一个芯片，它几乎像一千个芯片一样设计，我们必须对每一个芯片进行独立优化。你真的想把很多芯片一起优化，进行跨模块协同设计，在一个更大空间内进行优化。我们将能找到隐藏在局部最小值后面的局部最大值，我们可以找到更好的答案。没有AI工程师，你做不到，根本做不到，我们没有足够的时间。
主持人Elad：
自从我们上次集体谈话以来，还有一件事发生变化，我查了一下，当时英伟达市值约5,000亿美元，现在已超过3万亿美元。过去18个月里，你们市值增加2.5万亿美元以上，每月有效增加1,000亿美元以上，或者说是2,500个Snowflake项目，或者是Stripe公司加一点，或者你怎么想都可以，一两个国家。
在你构建内容的重点等方面，许多事情保持一致。今天早些时候在这里走动时，我感受到我15年前在谷歌工作时的氛围，你能感受到公司充满活力与兴奋的氛围。
在此期间，如果有什么变化，是什么变化？在英伟达的运作方式、你对世界的看法或你能承担的赌注规模方面，有什么不同？
黄仁勋：
我们公司不可能像股价那样快速变化，让我们明确这一点。
很多方面，我们没有改变太多。我认为要做的，是退一步问自己，我们在做什么？
我认为，对公司与国家来说，这真的是重要的观察、认识、觉醒，那就是实际发生的事情。我认为我们前面谈到的，从我们行业角度看，我们重塑了计算。
现在，它已经60年没有被重塑，这就是它有多大的事。我们已经将计算边际成本降低，在过去10年里，可能降低百万倍，以至我们只是说，我们让计算机彻底编写软件，这就是一个重要认识。
很多方面，我们对芯片设计，也表达同样看法。我们希望计算机能发现我们自己无法发现的关于芯片的东西，探索我们芯片，并以我们自己无法做到方式对其进行优化，就像我们希望数字生物学或任何其他科学领域一样。
我认为人们开始意识到，当我们重塑计算时，这到底意味着什么？我们突然创造了叫智能的东西。
计算发生了什么？我们从数据中心开始。传统数据中心是多租户的，存储我们文件。我们正在创建的这些新数据中心，不是传统数据中心，它们不是多租户，它们不存储我们任何文件。它们只是在生产一些东西，它们在生产Token。
这些Token，被重建成看起来像是智能的东西，各种各样的智能。它可能是机器人运动的表达，可能是氨基酸序列，可能是化学链，可能是各种有趣的东西。
我们创造新的工具，新的机器，在很多方面，是生成式AI。与其说是生成式AI，不如说是AI工厂，这是生成AI的工厂，我们正在以极大的规模做到这一点。
人们开始意识到，也许这是新的产业，它生成Token，生成数字。
一方面，我们重塑我们所知的计算，需要对价值数万亿美元的基础设施进行现代化改造，这只是其中一层。
最重要的一层是，我们正在构建的这种工具，不仅用于我们正在现代化的数据中心，用于生产某种新商品。
这种新的商品产业规模有多大，很难说，它可能价值数万亿美元。
我认为，如果你退一步，我们不再制造计算机，我们制造工厂。
给我举一个公司或行业的例子，它们会说，我们不需要产生智能，我们已经有很多了。
总有一天，人们会意识到，半导体产业在很大程度上，并非只是关于制造芯片，而是关于构建社会的基石。
突然之间，每个人都会恍然大悟：我明白了，这可是件大事，它不仅是关于芯片。
黄仁勋：
让我非常兴奋的是，很多方面，我们已经接近AGI，也接近通用机器人技术，Token就是Token。
问题是，你能否将其Token化？正如你们所知，Token化并非易事。
如果你能将事物Token化，并将其与大型语言模型、其他模式对齐，如果我能生成一段视频，显示Jensen伸手拿咖啡杯，为什么我不能提示机器人生成相应Token来拿起。
直觉上，你会认为对计算机，问题陈述相当相似，我认为我们已经非常接近，这令人难以置信兴奋。
现在，两种棕地机器人系统，棕地指的是你不需要改变环境，分别是配备数字司机的自动驾驶汽车与具身机器人。通过汽车与人形机器人，我们可以将机器人技术带到世界各地，无需改变世界，我们已经为这两样东西构建了一个世界。
棕地机器人系统Brownfield Robotics System，指的是将机器人技术集成到已经存在、未经机器人技术优化的基础设施或环境中。
绿地机器人系统Greenfield Robotics System，是在专门为机器人技术设计的环境中部署机器人。
棕地机器人系统、绿地机器人系统，是两种不同的模式。
马斯克专注这两种形式的机器人技术，可能并非巧合，它很可能具有更大潜在规模，我认为这很令人兴奋。
数字版本同样令人兴奋，我们正在谈论数字员工或AI员工，我们将拥有各种各样AI员工。
我们前景，是一些生物员工与一些AI员工，我们将以相同方式提示他们。
大多数时候，我都会提示我的员工，提供背景信息，要求他们执行任务。他们会去招募其他团队成员，然后回来，我们再进行沟通。
与各种数字与AI员工相比，这有什么不同？我们将有AI营销人员、AI设计师、AI供应链人员等。我希望英伟达将来在生物方面会更大，从AI角度看，也会大得多得多，这就是我们未来的公司。
主持人Sarah：
如果1年后，我们再来与你谈，你认为公司哪部分的AI化程度最高？
黄仁勋：
我希望是芯片设计，这是最重要的部分，我应该从最能推动发展的地方开始，也是我们能产生最大影响的地方，这是一个非常困难的问题。
我与美国电子设计自动化EDA软件供应商Synopsys CEO Sassine、美国EDA软件与半导体设计服务商Cadence CEO Anirudh一起工作。我完全可以想象，他们拥有我可以租用的Synopsys芯片设计师。他们对某个特定模块及其工具有所了解，他们训练一个AI来精通它。
每当我们处于芯片设计的那个阶段时，我们会雇用很多AI设计师。我可能会租用100万名Synopsys工程师来帮助我，再租用100万名Cadence工程师来帮忙。
对他们来说，这是多么令人兴奋的未来，他们拥有所有这些位于工具平台之上的代理，这些代理使用工具平台，并与其他平台协作。
Christian将在SAP上这样做，Bill将在ServiceNow上这样做。人们说这些SaaS平台将被颠覆，我认为恰恰相反，他们掌握金矿，他们将迎来代理的繁荣，这些代理将专门从事Salesforce，我认为他们称之为Lightning，SAP是BAP。
每个人都有自己的语言，我们有CUDA，我们还有Omniverse的OpenUSD。
谁将创建擅长OpenUSD的AI代理，是我们，没有人比我们更关心它。
我认为，在很多方面，这些平台将随着代理的兴起，而蓬勃发展，我们将把它们互相介绍，它们将协同工作，解决问题。
主持人Sarah：
你看到很多不同人在AI各个领域工作，你认为哪些方面被低估了，或者你希望有更多企业家、工程师或商业人士参与其中？
黄仁勋：
首先，我认为人们误解，或者说低估，正在受到AI与机器学习影响的突破性科学、计算机科学、工程科学的幕后活动与表面之下的活动。
我认为你根本无法走进任何一个科学系，任何一个理论数学系，AI与机器学习以及我们今天讨论的那种工作，都不会在明天改变一切。
如果他们，如果你把世界上所有工程师、所有科学家都聚集起来，你说他们今天的工作方式是未来趋势的早期预兆，因为显然是，你将会看到一场海啸。
生成式AI，AI的海啸，机器学习的海啸，将在一小段时间内改变我们所做的一切。
现在，记住，我看到计算机视觉的早期迹象，以及与多伦多的Alex、Ilya、Hinton，以及Yann LeCun，还有斯坦福的Andrew Ng合作的工作，我看到了它的早期迹象。
我们很幸运从观察到将检测猫的能力，推断到计算机科学与计算的彻底改变，这种推断对我们来说是幸运的。
现在我们对此感到非常兴奋，非常鼓舞，以至我们改变我们做事方式。
这花了多长时间？从观察到那个玩具AlexNet，我认为按照今天标准，我们认为它是一个玩具，到在目标识别方面达到超人能力，花了6年时间，仅几年时间。
现在正在发生的事情，所有科学领域的浪潮，没有一个科学领域被落下。
我意思是，非常清楚的说，从量子计算到量子化学，每一个科学领域，都参与我们正在讨论的方法。
如果我们给自己，他们已经做了2~3年。如果我们再给自己2~3年时间，世界将会改变。
不会只有一篇论文，不会只有一项科学突破，一项工程突破，生成式AI不会成为其基础，我现在相当肯定这一点。
我认为有很多疑问，我不时听到有人说这是否是一种时尚。计算机，你只需要回到第一性原理，观察实际发生的事情。计算堆栈，我们进行计算的方式已经改变。如果编写软件的方式发生变化，我的意思是，这相当核心。
软件是人类编码知识的方式，我们以此编码算法。现在我们编码方式已经大相径庭，这将影响一切，没有什么会保持不变。
我想我是在对同道中人讲话，我们都在自己合作的初创企业、我合作的科学家与工程师身上看到了同样现象：没有任何东西会被落下，我们将携手共进。
主持人Sarah：
我认为，来自计算机科学领域，放眼所有其他科学领域，最令人兴奋的事情之一是，我现在可以参加机器人会议、材料科学会议、生物技术会议，我会想，我理解这个。并非理解科学的每一个层面，但在推动发现的过程中，所有算法都是通用的。
主持人Sarah：
是的。我认为，当你看到它在每个领域有效性时，令人难以置信的兴奋。
我非常兴奋自己每天都在使用它，我不知道你们是不是也这样，它现在是我导师。
我的意思是，我不会在不先求助AI的情况下，学习任何东西。为什么要费力学习，直接问AI就行了。我直接问ChatGPT，或者有时会用Perplexity，这取决于我的问题措辞。
我从那里开始学习，如果愿意，你总是可以深入研究。这太不可思议了，我几乎了解的所有东西，我都会反复核实。我知道这是一个事实，我认定是基本事实，我是专家，我仍然会问AI，核实一下，让我再检查一下。
黄仁勋：
非常感谢你们抽出时间，我很享受这次谈话，很高兴见到你们。
Sam Altman
与YC总裁对谈OpenAI创业历程、预测未来公司可能是1人+1万GPU
Sam Altman
接受
YC
专访，
2024
年
11
月
8
日发布。
AGI
并非遥不可及：
AGI的到来，可能比许多人预想的要快，甚至可能在几年内实现显著突破。Same基于OpenAI的进展、与模型能力的快速提升，例如从GPT-3到GPT-4，做出这一判断。
规模的重要性：
强调规模在深度学习中关键作用，认为持续扩大模型规模，能带来能力的指数级提升，这与当时许多人看法相悖。他将这种信念，比作对深度学习的宗教式信仰。
深度学习潜力被低估：
深度学习潜力远未被充分挖掘，许多业内人士对它能力持有怀疑态度，甚至认为继续大力投入是错误的。
专注单一方向的重要性：
OpenAI成功的一个关键，在于专注单一方向深度学习与规模化，不是分散资源到多个领域。体现创业中重要策略：极度专注有前景的赌注。
YC
独特之处：
赞扬YC鼓励大胆的科技乐观主义、与非凡的创业精神，强调同行群体的重要性；认为在YC找到志同道合的同伴，对个人成长至关重要。
OpenAI
早期目标与策略：
描述OpenAI成立初期的目标无监督学习、强化学习与团队规模控制，组建团队的经历；强调当时追逐AGI目标的非主流性。
OpenAI
成功并非一蹴而就：
承认OpenAI道路并非一帆风顺，经历许多挫折与错误，强调团队坚持不懈、勇于纠错的能力。
主持人Garry：
今天我们有幸邀请到Sam Altman，感谢你的加入。这是你如何构建未来系列节目的重启版，欢迎回到YC。
Sam Altman
：
你开始这个系列节目，大概8年前的事，我一直在回想这件事。
主持人Garry：
大概是那样，太不可思议了，我很高兴它重启了。
让我们谈你关于智能时代的最新文章，现在是不是创业的最佳时机？
Sam Altman
：
至少可以说，这是迄今为止最好的时机，希望将来会有更好时机。
我有点觉得，每一次重大技术革命，都能比以前做得更多。
我希望公司会更加令人惊叹、更有影响力等，我认为这是迄今为止最好的时机。
当像这次这样的事情发生，或者移动互联网、互联网、或半导体革命发生，或者可能像工业革命时期那样。那时，初创企业就有它们的优势。这就像，我们已经很久没有经历过这样的事情，这真的很令人兴奋。
主持人Garry：
在这篇文章中，你说了一件非常重要的事ASI，超级AI，距离我们还有数千天。我的意思是，这是我们的希望，我们的猜测，不管怎么说。
Sam Altman
：
这是一个非常大胆的声明。我意思是，这很重要，这真的非常重要。
我可以看到一条路径，我们正在做的工作会持续积累。我们在过去3年取得的进展速度，会持续未来3、6或9年，或者更久。9年，大约是3,500天。
如果我们能保持这种进步速度，甚至加速度，这样的系统，将能做很多事情。
仅从在特定领域封闭式、明确定义的任务中，展现出的原始认知智商看，我想o1就是非常聪明的东西，我认为我们离进步的极限，还差得很远。
主持人Garry：
我意思是，那是一种架构上转变，这种转变解锁很多东西。我听到的是，这些东西将会不断积累。
Sam Altman
：
我们可能会遇到意想不到的障碍，或者我们可能遗漏什么，但对我们来说，看起来还有很多积累的空间。
主持人Garry：
这篇文章，可能是所有我见过的东西中，最技术乐观主义的。我们期待的一些事情包括：解决气候问题，建立太空殖民地，发现所有物理学知识，拥有近乎无限的智能与丰富的能源。
Sam Altman
：
我认为所有这些事情，我们甚至无法想象的更多事情，可能并不遥远。
我认为，现在我们甚至可以半认真谈论这些事情，非常令人兴奋。
我一直最喜欢YC的一件事是，它鼓励略微不切实际的技术乐观主义。仅相信，你可以解决这个问题。
在一个我认为总是告诉人们这行不通、你不能做这件事、你不能做那件事的世界里，我认为那种早期保罗·格雷厄姆的精神，仅是鼓励创始人放眼长远一点，这在这个世界上是一件特别的事情。
主持人Garry：
丰富的能源，似乎是一件非常重要的事。如果我们真的实现丰富的能源，就存在路径A与路径B，这似乎是一个真正的突破。
几乎任何工作，不仅是知识工作，是真正的体力工作，都可以通过机器人技术，以及随时可用的语言与智能来实现，这是一个真正的丰裕时代。
Sam Altman
：
这些就像我们想要的一切关键性输入，是两大关键性输入，还有很多其他重要的因素。
如果我们能获得真正丰富的智能、与真正丰富的能源，这将开启全新的局面，我们能更快想出更好主意，在现实世界中实现它们。
更不用说，能运行大量的AI，也会是一件好事，这同样需要能源，我认为这将是巨大的突破。
我不确定是应该对这一切发生感到惊讶，还是这只是技术进步速度不断加快，带来的自然结果，这绝对是令人兴奋的时代，也是创业的好时机。
主持人Garry：
我们大致经历这个丰饶的时代，也许机器人能实际制造，做任何事情，几乎所有的体力劳动都能带来物质进步，不仅是对最富有的人，而是对所有人。
如果我们没有释放无限的能源，会发生什么？如果，有一些物理定律阻止我们做到这一点？
Sam Altman
：
太阳能+储能的轨迹足够好，我们没有取得重大的核能突破，我们也能过得还不错。
可以肯定的是，降低能源成本，提高能源丰富度，对生活质量有直接影响。
最终我们会解决物理学中每一个问题，我们一定会找到解决办法，只是时间问题，我们应得这一切。
总有一天，我们讨论的将不再是核聚变或其他什么，而是戴森球，也将会很棒。
这是一个时间点，对我们来说，感觉充足的能源，对我们曾孙们来说可能根本不够用，宇宙很大，有很多物质。
主持人Garry：
我想稍微换个话题，谈你之前提到的保罗·格雷厄姆，他把我们大家聚集在一起，创建YC。
他喜欢讲述你如何加入YC的故事，你当时是斯坦福大学大一新生。
他说，这是2005年第一批YC，你是大一新生，YC还会在，下次再来。
Sam Altman
：
如果这个故事就此过去，我会很高兴。它被永久记载在这里，就在这里。我对这件事的记忆是，我需要改期一次面试之类的事情。
保罗·格雷厄姆试图说，2006年再来之类。我想我说了一些比较委婉的话，比如我是大二学生，我这就来。
这些事情，会变得有点不准确，很有趣。我这么说，并非虚伪谦逊，我根本不喜欢把自己定义为杰出的人，我认为我在很多方面并非如此。
我只是有点，我不明白为什么事情必须按照它们方式进行，我只是做从第一性原理看，似乎不错的事情，我对此一直感觉有点奇怪。
我记得我当时认为YC如此棒的一点，现在仍然如此，就是它像是怪人聚集地，他们都只是说，我要做我的事。这其中与我真实自我认同相符的部分是，我认为你可以尝试很多事情，我认为尝试得越多越好。
主持人Garry：
我想，我们俩在YC都发现了一群人，他们都相信你可以做到……
Sam Altman
：
很长时间以来，我一直试图弄清楚是什么让YC如此特别。
我认为，你有一个非常优秀的人告诉你，你可以做到，我相信你。
作为一名年轻的创始人，这感觉如此特别与鼓舞人心。当然它趋势如此。
我直到很久以后，才明白，是来自其他也在这样做的人的同伴群体。
我现在给年轻人的最大建议之一是，尽早找到这个同伴群体，对我来说非常重要。
我当时没有意识到这很重要，我当时想，我会自己想办法。与鼓舞人心的同龄人在一起，真是太有价值了。
主持人Garry：
有趣的是，我们都曾在斯坦福大学待过。
但那个社区，据称也拥有很多这些特征，我仍然对在一个房间里与一群创始人在一起所产生的强大力量感到惊讶。
Sam Altman
：
我也正想这么说，我很喜欢斯坦福。
我没有感觉自己被让我想要变得更好、更有野心的人包围着，如果我有这种感觉，你与你的同龄人竞争的东西就是，谁会在哪家投行获得实习机会？
我很不好意思的说，我掉进这个陷阱，这就是同伴群体有多强大。
在看到YC的氛围之后，不去上学，是非常容易的决定。
主持人Garry：
我很喜欢荣格一句很有力量的引言：世界会来问你，你是谁，如果你不知道，它会告诉你。
看起来，尽早认真思考你想成为谁，你想与谁在一起，非常重要。
Sam Altman
：
这绝对是我的一大收获，至少对我自己，没有人能免受同伴压力的影响。你所能做的，就是选择好的同伴。
主持人Garry：
你后来创建Loopt，出售它，去了Green Dot，我们最终一起在YC工作。
跟我说说YC研究的早期情况，你给YC带来一件非常酷的事，是这种实验精神。
我记得你回到合伙人办公室，谈论你与Larry、Sergey这样的人一起参与的一些项目。
Sam Altman
：
我一直认为最酷的退休工作，是经营一个研究实验室，当时还没具体到AI领域。
当我们开始讨论YC研究时，它不仅会，最终资助一大堆不同项目。
我希望我能讲述一个关于AI的成功，以及它将成为主流这件事，是否显而易见的故事。
但那时我们也尝试很多失败项目，那段时间里，我读了几本关于施乐帕克研究中心与贝尔实验室历史之类的书。
我认为当时在硅谷时代，很多人觉得我们需要再次拥有优秀的研究实验室，我只是觉得这会非常酷。
这有点类似YC做法，你将把资金分配给聪明人，有时会成功，有时不会，我只是想尝试一下。
AI肯定经历了一个小高潮，大概是2014年末、2015年、2016年初，当时正流行超级智能的讨论，比如《超级智能》这本书，作者是博斯特罗姆。
DeepMind也取得一些令人印象深刻的成果，方向略有不同。
我一直是个AI迷，我当时想，尝试做一些事情会很酷，但这很难说。
主持人Garry：
ImageNet已经出现了，当时已经出现一段时间。
你可以判断它是不是热狗，有时可以。那时已经快实现了，是的。
你是如何确定最初参与YC研究与OpenAI的人选？
Sam Altman
：
回想起来，感觉就像电影蒙太奇一样，一开始就像抢银行电影里那样，到处寻找合适的人选。然后他们说，我愿意加入。
比如伊利亚，我听说他非常聪明，我看了他一些视频，他真的非常聪明，是名副其实的天才与远见者，还有着令人难以置信的个人魅力。
我看了他在YouTube上一段视频，心想我必须认识这个人。我给他发了邮件，他没回复。我去他演讲的一个会议，我们见了面。之后，我们开始频繁交流。
主持人Garry：
像这样的对话：我非常喜欢你关于AI的想法，我想建立一个实验室。
回顾过去，我们从一开始就说要追求AGI，这在当时行不通，听起来太疯狂，谈论它，几乎是不负责任的。
这立刻引起他的注意，它吸引所有优秀年轻人的注意，以及平庸老人们嘲笑与不屑。
这些人就像，这些不负责任的孩子，什么都不懂，却说这些荒谬的话。
而那些对此非常感兴趣的人，我想，和那些会说我大二，我来试试的人，是同一类人。
这件事，断断续续进行大约9个月，然后它开始了，它真的开始了。
我最喜欢OpenAI记忆之一是，伊利亚某些原因与谷歌有冲突，我们无法在那里启动。
我们在2015年12月宣布成立，直到2016年1月才能正式启动，大概是2016年1月3日左右，或者月初，大家放假回来后，我们去格雷格公寓。大概有10个人左右，我们围坐在一起，感觉我们为启动它，做了一件了不起的事。
这让我想起创业公司创始人努力融资，他们会想，我完成一件伟大的事，我们做到了，我们做到。然后你坐下来说，我们现在得弄清楚，接下来要做什么。
主持人Garry：
现在不是庆祝的时候，这是发令枪响了，现在我们必须跑了。
Sam Altman
：
你根本不知道这场比赛，会有多艰难。我们花了很长时间，才弄清楚我们要做什么。
我对伊利亚尤其印象深刻，还有所有早期成员，我们走了很多弯路，才走到今天，但最初想法的大方向，是如此正确。
这些想法，写在格雷格公寓的翻页图表或白板上，我不记得是哪个。
我们去做了一些其他事，有些成功，有些失败，最终我们有了这个系统……
回顾过去，我们从那时走到现在，经历如此多曲折，感觉非常疯狂，非常不可思议，我们到达我们所指向的地方。
更具体说，比如做一个大型无监督模型，然后解决强化学习问题，这在白板上。
一张来自更早一次非正式会议的白板，我认为这是正确的。
我相信当时这项工作的目标，有三个：弄清楚如何进行无监督学习，解决强化学习问题，人员规模不超过120人。
主持人Garry：
前两个目标，已经做得相当不错。是深度学习，第二个重要目标听起来像是规模化，也就是你可以实现规模化的想法。这也是一个异端的想法，人们甚至觉得它具有冒犯性，我记得当时你们受到很多批评。
Sam Altman
：
当我们开始时，核心信念是深度学习有效，随着规模扩大，变得更好。
当时我们不知道它随着规模扩大，会好到什么程度，直到几年后，才出现。
一开始只是一个直觉，你得到数据来证明，它有多么可预测。
在我们开始之前，人们已经知道，如果你让这些神经网络更大，它们就会变得更好，我们对此很确定。
让我一直想到的是，这是一种近乎宗教信仰般的信念，即这种情况不会停止。每个人都有理由说，它不是真正的学习，它不是真正的推理，它不能真正做到这一点，它只是一个把戏，而这些都是该领域的杰出领导者。
他们不仅是说你错了，他们说的是，你错了，这是一种错误的信念，或是一件错误的事情。他们认为你会引发AI寒冬，你会做这、做那。
我们只是看着这些结果，说它们一直在变得更好，我们得到规模化结果。
某种程度上，你必须看看规模化定律，然后说，我们将继续这样做，我们认为它会这样做。
当时开始感觉，深度学习某些方面，是一种非常重要的涌现现象，我们没有在实践中完全理解所有细节，我们没有，现在也没有，也有一些真正基础的东西正在发生。
我们把它比作是在元素周期表中，发现新的方格，我们真的想推动它。
我们资源，远少于DeepMind与其他公司，我们说，他们会尝试很多事情，我们只需要选择一件事情，集中精力，这就是我们可以获胜的方式，这完全是正确的创业方法。我们说，我们不知道我们不知道什么。
我们知道有一件事有效，我们将专注于此。我认为其他一些努力，试图在太多方面都过于聪明；我们只是说，我们将专注眼前的事，不断努力。
规模是我一直以来都感兴趣的事，它在很多方面都具有涌现特性，对初创公司、深度学习模型、许多其他事物都是如此。
我认为，如果遇到疑问，如果你拥有一些似乎随规模而改进的东西，我认为你应该扩大它的规模。
主持人Garry：
我认为人们希望事情遵循少即是多的原则，但多即是多。
Sam Altman
：
我们相信这一点，我们想坚持下去。
我认为，人们可能不太了解OpenAI的一件事是，我们鲜为人知时，我们拥有一支极其优秀的研究人员团队。如果你拥有世界上最聪明的人，你就能全力以赴做一件事。
他们很有动力，或者说你创造了世界上为数不多的几个他们可以做到这一点的地方。
我听说过的一个故事是，是获得计算资源，在今天也是非常困难的事，融入一些来自业界前辈的批评，他们认为，你会浪费很多资源，某种程度上会导致AI寒冬，人们不会再提供资源。
Sam Altman
：有趣的是，人们一直不确定我们是否会浪费资源，或者说我们是否通过投入过多资源，做了一些有点不道德的事，你应该将资源分散到多个赌注上，而不是专注一个赌注。
世界上大多数人，仍然不理解对一个赌注进行相当极端程度专注的价值。我们说，我们有证据，我们相信这件事。当通常的做法是我们将分散到这个赌注、那个赌注，与另一个赌注上时，我们想要坚持下去。
Sam Altman
：
在许多成功的YC初创公司中，你会一次又一次看到这种情况。
当世界给你施加压力，这种压力对你毫无意义时，你应该继续做，完全正确。
Sam Altman
：
我非常感激从初创公司世界中获得的许多经验，那就是你一次又一次看到这种情况。
我认为，加入YC之前，我深信世界上有成年人负责，房间里有成年人，他们知道发生了什么。
有人掌握所有答案，如果有人反对你，他们可能知道发生了什么。
我现在理解的程度是，就像前面说的那样，你可以做事情，你可以尝试事情，没有人掌握所有答案。
房间里没有成年人，会神奇告诉你确切该做什么。你只需要快速迭代，找到自己方法。
如果你错了，你没有适应，你没有试图追求真理，它仍然非常……无效。
我们试图做的事情，真的只是相信结果告诉我们的任何事情，真正尝试做我们眼前的事情。
有很多事情，我们非常坚定相信，却是错误的。一旦我们意识到自己错了，我们努力完全接受它。坚定信念很好，直到你得到一方或另一方的数据，许多人会在得到数据之后，仍然坚持自己信念。
主持人Garry：
这是迭代式的，它不仅是他们错了，而我对了，你必须展示你的工作。
Sam Altman
：
有一段时间，你必须愿意在没有数据情况下运作。这一点上，你必须依靠信念行事。
主持人Garry：
听起来，这其中包含一个聚焦的方面。
就像你必须做出选择，这个选择最好是，你没有无限选择，优先级本身就是一个使你更有可能成功的练习。
Sam Altman
：
我希望我能告诉你，我们确切知道会发生什么。，我们从一开始就对语言模型有了这个想法，我们直接朝这个方向努力。
很明显，OpenAI的故事是，我们做了很多事情帮助我们发展了一些科学理解，我们并没有走捷径。
如果我们当时知道现在所知道的事情，我们本可以令人难以置信的速度完成整个过程，但事情并非如此，你不可能每次猜测都正确。
我们一开始有很多假设，关于技术走向，还有我们将成为什么样的公司，我们将如何运作，AGI 将如何发展，所有这些事情。
我们已经被证明是错误的，很多、很多、很多次了。我们优势之一，是能在被打脸之后，站起来继续前进。这适用于科学上的赌注，也适用于我们愿意在关于我们认为世界将如何运作、以及产品形状将是什么的许多其他事情上犯错。
我们不知道，或者至少我不知道，也许Alec Radford知道，我不知道语言模型会成为最重要的事情。
我们开始研究机器人与玩电子游戏的智能体，以及所有其他事情。几年后，GPT-3出现了，当时这并不是显而易见。
Alec Radford是在AI领域，特别是深度学习领域做出突出贡献的研究人员。他最广为人知的贡献，是参与开发生成对抗网络GAN的关键改进版本，以及Transformer架构应用，这两者都对现代AI发展产生深远影响。
主持人Garry：
听起来围绕GPT-1的正面或负面情绪，有一个关键的见解。
Sam Altman
：
甚至在GPT-1之前，甚至更早。
我认为这篇论文《无监督情感神经元》，我认为Alec是独自完成的，Alec是不可思议的异类。
他做了这项令人难以置信的工作，只是在观察，他注意到有一个神经元在进行这些生成的亚马逊评论时，会切换正面或负面情绪。其他研究人员，可能会夸大其词或对此大惊小怪，但是Alec做的，人们花了一段时间才完全理解这是一件多么重要的事情，然后他做了GPT-1，其他人将其扩展到GPT-2，但这源于他的这一见解，即发生了某种令人惊奇的事情。
当时，无监督学习并没有真正起作用。他注意到一个非常有趣的特性，那就是有一个神经元会随着情感切换正面或负面，这导致了GPT系列。
主持人Garry：
我想，CaseText的Jake
Heller，我认为他也许是，毫不意外，一个YC的校友，他获得GPT-3、3.5与4的访问权限。
他将获得GPT-4描述成一个重要的突破时刻，3.5也能用，但它产生的幻觉在法律环境中多到无法使用。
GPT-4达到一个临界点，只要他将提示拆分成足够小的工作流程，就能让它准确完成他想要的任务。
他围绕GPT-4构建大量测试案例，将公司以6.5亿美元价格卖掉，我认为他是最早以相对宏大方式，将GPT-4商业化的人之一。
Sam Altman
：
我记得与他关于GPT-4的那次谈话，那是我在那件事中为数不多的几个时刻之一，我当时想，我们手里真的握有非常棒的产品。
当我们刚开始尝试向创始人推销GPT-3时，他们会说，这很酷，它做的事很惊人，是个令人难以置信的演示。但除了文案写作，GPT-3并没有催生出伟大的公司。GPT-3.5出现了，特别是像YC这样的创业公司，开始做一些有趣的事。
感觉我们不再是在推一块巨石上山，人们真的想要购买我们销售的东西，然后是GPT-4。
我们就像得到了，你能给我多少GPU？是的，这样的时刻，在向人们提供访问权限后，很快就发生了。我们感觉，我们手里真的握有非常棒的产品。
Sam Altman
：
完全正确，当模型本身发布，你们拿到它的时候，感觉就像，这更好了。我们当时都印象深刻，我们对它进行一系列测试，结果看起来很棒，它可以完成我们都很惊讶的事情。
当我们都在玩它，得到样本反馈时，我想，它现在可以做到这个了。它可以押韵，可以讲一个有点好笑的笑话，还可以做这、做那。
感觉真的很好，你永远不知道自己是否拥有畅销产品，直到把它交到客户手中。我们都对此感到兴奋，我们想，这真的相当不错。直到测试完成，真正的考验是用户。在那一刻到来之前，会有一些焦虑。
主持人Garry：
在你们创建了有史以来最疯狂的AI实验室之一之前，你们19岁时在YC创建了Loopt，该公司是查找我朋友地理位置服务，可能是在苹果最终推出这项服务之前的15年前，是什么吸引你想到这个特定想法？
Sam Altman
：
我当时对手机很感兴趣，我想做一些能利用手机的事。那时手机刚起步，也就是在iPhone推出之前2~3年。很明显，把电脑揣在口袋里是件非常重要的事。
主持人Garry：
我现在很难相信，曾经有过手机只能打电话。我意思是，我尽量不把它当作一部真正的电话来用。
Sam Altman
：
我仍然记得我第一部有互联网功能的手机，它有一个糟糕的，主要是基于文本的浏览器，速度非常慢，你可以非常痛苦、非常缓慢查看你的电子邮件。
我当时还在高中，高中某个时候，我得到一部可以做到这一点的手机，而不是仅发短信与打电话。
我当时就迷上了，我当时想，这不是一部手机，这就像我们随身携带的电脑，我们历史的偶然性而受困于拨号键盘，但这将会很棒。
主持人Garry：
我想，现在数十亿人没有电脑。对我们这一代人来说，手机是你的第一台电脑。
Sam Altman
：
不是物理意义上的，这是一个复制品，或者说是我第一台电脑的另一个副本，是一台Mac
LC2。
主持人Garry：
是的，这就是我们成长过程中电脑的样子。
你会随身携带这面小黑镜的想法，当时是不可想象的。在那时，你对技术与未来即将到来的一切，都有一定了解。
Sam Altman
：
我当时就是一个真正的技术宅，我现在仍然是一个真正的技术宅，那就是我用来思考周五夜晚的事情。
主持人Garry：
然后，其中比较难的部分，是我们没有App Store，iPhone还不存在，我认为你最终成为了那次发布的重要参与者。
Sam Altman
：
我参与其中一小部分，对我来说这是一次非常棒的经历，我了解了经历平台转型是什么样，开始阶段有多混乱，以及你所做的小事，如何能塑造发展方向。
我当时肯定处于另一边，我看着别人创造平台转型，这对我来说，是一次非常宝贵的经验，让我能了解它是如何发生，事情变化的速度有多快，你如何适应它。
主持人Garry：
那次经历感觉如何？你最终卖掉那家公司，那可能是你第一次管理人员，并进行企业销售。所有这些，都是从那次第一次经历中吸取的有用教训。
Sam Altman
：
它不是一家成功的公司，这是一个非常痛苦的过程，经验与教育的速度令人难以置信。
PG说过，或者引用别人说过的话，一直让我铭记于心的是，你20多岁时总是在做学徒，你不知道是为了什么，你以后才会做你真正的工作。我学到很多东西，我对此非常感激。
那是一次艰难的经历，我们从来没有真正找到产品与市场契合点；我们从未真正找到摆脱困境的方法，这总是很难做到。我从未听说过有任何事情，比创业的普遍学习率更高，它很棒。
主持人Garry：
这个意义上说，当你19~20岁时，就像乘着某个其他平台转变的浪潮，从笨重的手机到智能手机与移动设备的转变。
现在，许多年过去了，你的下一个行动是，催生了主要的平台转变之一。我们都会变老，但这是正在发生的事情。
18~20岁的年轻人，认为他们可以获得学位，但他们会错过这波浪潮。
所有这些事情，一切都在现在发生。我很高兴听到这些。你有没有一种直觉？是许多非常优秀的10亿美元公司创始人，他们中一些人根本没有意识到正在发生的事情。他们是首席技术官，这让我感到震惊，太疯狂了。
Sam Altman
：
是的，这就是为什么我现在对初创公司如此兴奋的原因，世界对这一切的漠视程度令人震惊。
你看到YC的创始人说：不，不，我要做一件惊人的事情，要很快完成，是的。
主持人Garry：
这让我想起Facebook差点错过移动浪潮，他们当时制作的是网页软件，做得非常好。他们不得不收购Instagram、Snapchat、WhatsApp，很有趣。
平台的转变，总是由年轻、没有先前知识的人来完成的，我认为这很棒。
还有另一个有趣的方面，我认为你与马斯克、贝索斯、许多其他人一样，他们作为创始人的旅程，都是从某个项目开始，无论是Loop、Zip2，还是纯粹的软件项目，这只是他们开始的不同事物，后来他们逐渐升级。
在这个阶段，你有什么建议的路径？如果人们在想，我想先从事最疯狂的硬科技项目，他们应该尽可能朝着这个方向努力？还是说，先解决资金问题，能将自己资金大量投入到下一件事中更有价值？
Sam Altman
：
这是一个非常有趣的问题，能为OpenAI开出早期支票绝对很有帮助，我认为一开始很难让其他人这样做。
马斯克在更大规模上做了很多，我对此非常感激，之后其他人也效仿。
我还投资了一些其他项目，我很高兴能支持它们。我认为让其他人去做会很难，这很棒。
就像我们之前谈到的那样，我学到这些非常宝贵的经验教训。我也觉得我有点浪费时间，这么说可能不太好，我绝对不后悔。这就像人生中所有事物的一部分，我学到很多东西。
主持人Garry：
你会怎么做得不同？或者你会对19岁时在斯坦福大学的你，通过时光胶囊传递什么信息？
Sam Altman
：
这很难说，AI一直是我最想做的事情。AI，就像，我去学校学习AI。当时我在AI实验室工作，他们告诉你的唯一一件事，就是绝对不要研究神经网络，我们试过了，它不管用，那是很久以前的事。
我认为我本可以选择比Loopt更好的项目来做，我不知道具体是什么，但一切都会好起来的，没关系。
人们长期以来，一直在构建更多技术，来改善其他人生活。
我经常思考这个问题，例如，我想到制造那台电脑的人。我不认识他们，他们中许多人可能早已退休，但我非常感谢他们。
有些人非常努力制造这个东西，它代表技术极限。我在8岁生日那天得到一台，它彻底改变了我的生活，也改变了其他许多人生活。
他们非常努力，他们从未得到我的感谢，我内心深处非常感激他们。能为这条漫长的道路添砖加瓦，真是太好了。
主持人Garry：
对OpenAI来说，2024年很棒，也并非没有一些戏剧性的事，总是这样，我们擅长这个。
你从2023年秋天驱逐事件中学到什么？你对一些人的离职有什么看法？团队会发生变化，但你怎么样？
Sam Altman
：
很累，但还不错。我们已经像快速通关一样，经历了中等规模、甚至相当大的科技公司通常需要10年的发展轨迹，而这仅用了2年时间。
ChatGPT的年龄，还不到2年，随之而来的是很多痛苦的事情。任何公司在扩张过程中，都会以一定速度更换管理团队。
你必须认识到，在0到1阶段，非常优秀的人，并不一定擅长1到10、或10到100阶段。我们改变了我们目标，在此过程中犯了很多错误，也做了一些正确的事情，这带来很多变化，我认为公司目标，沉浸式AGI，或任何你想要称呼它的名称，就像在每个阶段都做出最好的决策，但这会导致很多变化。
我希望我们现在正朝着一个更加平静的时期前进，我相信未来还会有其他时期，事情会再次变得非常动态。
主持人Garry：
OpenAI现在到底是如何运作的？我认为，你们现在质量与速度，与之前出现的许多其他成熟的软件公司相比，已经超越了世界一流水平。
Sam Altman
：
这是我第一次感觉我们真的知道该做什么，我认为从这里到构建AGI，仍然需要付出巨大努力，还有一些未知的未知数，我认为我们知道该做什么，这需要一段时间，这会很难，但这非常令人兴奋。
我还认为，在产品方面，还有更多东西需要弄清楚，大体上我们知道该瞄准什么，我们想要优化什么，这是一个非常令人兴奋的时刻。当你拥有这种清晰度时，我认为你可以走得很快。
如果你愿意说，我们将做这几件事，我们将努力把它们做好，我们研究路径相当清晰，我们基础设施路径相当清晰，我们产品路径也越来越清晰，你可以很好围绕这一点进行调整。
很长一段时间，我们都没有做到这一点。我们是一个真正的研究实验室，你知道了这一点，也很难坚定采取行动，还有很多其他好的事情你想做。
你能让每个人都团结起来，朝同一目标前进的程度，是决定你行动速度的一个重要因素。
主持人Garry：
感觉我们最近从一级跃升到二级，这真的非常强大。
我们刚在YC举办o1黑客马拉松，那太令人印象深刻，超级有趣。
奇怪的是，其中一位获奖者，我想他们获得第三名，是Camfer公司。这是一家从事CAD/CAM软件的创业公司，1~2年前刚参加YC，他们在黑客马拉松期间，能构建出一个能迭代改进翼型的工具，从无法飞行的翼型，改进到具有竞争性升力的翼型。我的意思是，这听起来像是第四级，也就是创新阶段。
Sam Altman
：
你这么说，很有意思。我之前一直跟别人说，我认为二级到三级的跃升很快就会发生，但三级到四级的跃升会困难得多，需要一些中等规模或更大的新想法。
这个演示与其他一些演示，让我相信，只需以真正有创意的方式使用现有模型，就能获得大量创新。
主持人Garry：
有趣的是，Camfer已经构建CAD/CAM底层软件。然后，语言就成了与大型语言模型交互的界面，它可以使用类似软件的工具。如果再加上CodeGen想法，那就有点可怕、又疯狂，大型语言模型不仅可以编写代码，还可以为自己创建工具，然后像o1的思维链一样组合这些工具。我认为事情发展速度，会比人们现在预期的快得多。
Sam Altman
：
现在是活着的好时代，你前面提到过关于发现所有物理学规律的事情，我一直想成为一名物理学家，但不够聪明，无法成为一名优秀的物理学家，只能以另一种方式做出贡献。
我相信有人现在将用这些东西解决所有物理学问题，我为能在这个时代活着而感到兴奋。让我们到达第四级，我为那个幸运儿感到高兴。
Sam Altman
：我们意识到AGI这个词，已经过度使用，人们赋予它各种不同含义。我们试图说，这是我们对事物顺序的最佳猜测。
然后是二级系统，也就是推理器；我们认为我们在2024年早些时候的o1版本中，实现了这一点。
三级是智能体能执行长期任务的能力，例如与环境进行多次交互，在需要时寻求帮助，以及团队协作等，我认为我们将比人们预期的更快达到这个阶段。
四级是创新者，就像科学家一样，能探索不太了解的现象。在很长一段时间内，去理解，并找出答案。
然后是五级，这有点模糊，就是做到这一点，但规模是整个公司，或者一个组织，或者其他什么。
感觉有点分形，是达到二级所需要做的事情，也与五级异曲同工，即拥有多个能自我纠正、并协同工作的智能体。
你认为我们会拥有，你曾经谈到过这个，我认为Jake也谈到过，年收入数十亿美元，但员工不到100人，也许只有50人，甚至20人，或者只有1人的公司？
Sam Altman
：
看起来是这样，除了这是一个成为创业公司创始人的好时代之外，我不知道该如何解释。
对我来说，感觉就是这样，就像一个人+1万个GPU。
主持人Garry：
可能发生，对正在或刚开始创业的人，你有什么建议？
Sam Altman
：创业的话，押注这项技术趋势，押注这个趋势，我们远未达到饱和点。
作为创业公司创始人，你可以用它做到的事情，与你无法做到的事情相比，差异非常巨大。
大型公司，甚至中等规模的公司，甚至是几年前成立的创业公司，都已经在按季度规划周期运作；谷歌在按年度或10年规划周期运作。
我不知道他们是怎么做到的，但你的优势在于速度、专注、信念，对技术发展速度的反应能力，这永远都是创业公司的第一优势，尤其是在现在。
我一定会用AI构建一些东西，我一定会利用能看到新事物，并在当天构建它的能力，而不是将其纳入季度规划周期。
我想我还要说的是，当出现新的技术平台时，很容易说，我正在做一些AI，商业法则不适用于我。
我拥有这项神奇的技术，我不需要建立护城河、竞争优势或更好的产品，我正在做AI，而你没有，这是不对的。
你可以通过比其他人更快采用新技术，获得短期内爆发式增长。记住不要落入这个陷阱，你仍然需要建立有持久价值的东西，我认为这是一个需要记住的好事情。
主持人Garry：
现在每个人都可以构建一个非常棒的演示。
Sam Altman
：
规则仍然适用，你可以比以往任何时候都更快、更好，你仍然必须建立一个企业。
主持人Garry：
你对2025年有什么期待？未来会发生什么？
Sam Altman
：
AGI，为此感到兴奋。我对什么感到兴奋？我还是个孩子。我为此感到兴奋，可能就是这样，这是我一生中最兴奋的事情。
主持人Garry：
让我们为我们孩子，以及希望是全世界，创造一个更美好的世界而努力。这次谈话非常有趣，感谢你的参与，Sam，谢谢。
科技说：马斯克、贝索斯、拉里·佩奇/谢尔盖·布林、扎克伯格、黄仁勋、Vitalik Buterin、Brian Armstorng、Jack Dorsey、孙正义、华为、马化腾、张小龙、张一鸣、王兴等
投资说：巴菲特、芒格、Baillie Giffrod、霍华德·马克斯、彼得·蒂尔、马克·安德森、凯瑟琳·伍德等
元宇宙说：Meta/Facebk、苹果、微软、英伟达、迪士尼、腾讯、字节跳动、EpicGames、Roblox、哔哩哔哩/B站等
星际说：中国国家航天局、NASA、历年国际宇航大会，SpaceX、Starlink、蓝色起源、维珍银河等
消费说：亚马逊、沃尔玛、阿里、京东、拼多多、美团、东方甄选等
每个系列聚焦各领域全球顶尖高手、产业领军人物，搜集整理他们的致股东信、公开演讲/交流、媒体采访等一手信息，一起学习经典，汲取思想养分，做时间的朋友，做长期主义者。
六合年度报告全库会员，欢迎扫描识别下方图中二维码或点击文末“阅读原文”购买
智能时代专题，欢迎扫描识别下方图中二维码或点击文末“阅读原文”购买
智能时代专题第二季，欢迎扫描识别下方图中二维码或点击文末“阅读原文”购买
智能时代专题第一季，欢迎扫描识别下方图中二维码或点击文末“阅读原文”购买
六合商业研选付费专题报告，欢迎扫描识别下方图中二维码或点击文末“阅读原文”购买
元宇宙专题，欢迎扫描识别下方图中二维码或点击文末“阅读原文”购买
头号玩家第二季，欢迎扫描识别下方图中二维码或点击文末“阅读原文”购买
头号玩家第一季，欢迎扫描识别下方图中二维码或点击文末“阅读原文”购买
智能电动汽车专题，欢迎扫描识别下方图中二维码或点击文末“阅读原文”购买
【智能时代】现象级游戏《黑神话：悟空》的思考，游戏二元属性，文化与科技
【智能时代】自动驾驶：汽车iPhone时刻，中国三大流派演化形成中
诸神之战：美国科技巨头，从春秋五霸进入战国七雄｜GBAT 2023 大湾区智能时代产业峰会
人类未来文明三部曲之二：智能时代专题预售开启，奇点临近，未来已来
九宇资本赵宇杰：智能时代思考，
认知思维，存在原生、降维、升维三波认知红利
九宇资本赵宇杰：智能时代思考，以史为鉴，科技浪潮，从互联网到AI
九宇资本赵宇杰：智能时代思考，宇宙视角，从碳基生物，到硅基智能体
人类未来文明三部曲之一：元宇宙专题预售开启，59期45万字
九宇资本赵宇杰：1.5万字头号玩家年度思考集，科技创新，无尽前沿
九宇资本赵宇杰：1.5万字智能电动汽车年度思考集，软件定义，重塑一切
【重磅】前沿周报：拥抱科技，洞见未来，70期合集打包送上
【重磅】六合年度报告全库会员正式上线，5年多研究成果系统性交付
【智能电动汽车专题预售】百年汽车产业加速变革，智能电动汽车时代大幕开启
【头号玩家第一季预售】：科技巨头探索未来，头号玩家梯队式崛起
【头号玩家第二季预售】：科技创新带来范式转换，拓展无尽新边疆
【首份付费报告+年度会员】直播电商14万字深度报告：万亿级GMV风口下，巨头混战与合纵连横
【重磅】科技体育系列报告合集上线，“科技+体育”深度融合，全方位变革体育运动
【重磅】365家明星公司，近600篇报告，六合君4年多研究成果全景呈现
九宇资本赵宇杰：CES见闻录，开个脑洞，超级科技巨头将接管一切
【万字长文】九宇资本赵宇杰：5G开启新周期，进入在线世界的大航海时代｜GBAT 2019 大湾区5G峰会
九宇资本赵宇杰：抓住电子烟这一巨大的趋势红利，抓住产业变革中的变与不变
【IPO观察】第一季：中芯国际、寒武纪、思摩尔、泡泡玛特、安克创新等11家深度研报合集
【IPO观察】第二季：理想、小鹏、贝壳、蚂蚁、Snowflake、Palantir等12家公司深度研报合集
【IPO观察】第三季：Coinbase、Roblox、快手、雾芯科技等12家公司深度研报合集
【重磅】年度观察2019系列合集：历时3个多月，超20万字近500页，复盘过去，展望未来，洞悉变与不变
【珍藏版】六合宝典：300家明星公司全景扫描，历时3年，210万字超5,000页，重磅推荐
九宇资本赵宇杰：对智能电动汽车产业的碎片化思考
九宇资本赵宇杰：九宫格分析法，语数外教育培训领域的道与术
【2023回乡见闻录】90、00后小伙伴们万字记录，生活回归正轨，春节年味更浓
【2022回乡见闻录】20位90、00后2万字，4国13地，全方位展现国内外疫情防疫、春节氛围、发展现状差异
【2021回乡见闻录】22位90后2万字，就地过年与返乡过年碰撞，展现真实、立体、变革的中国
【2020回乡见闻录】20位90后2万字，特殊的春节，时代的集体记忆
【重磅】22位“90后”2万字回乡见闻录，讲述他们眼中的中国县城、乡镇、农村
六合君3周岁生日，TOP 60篇经典研报重磅推荐
下午茶，互联网世界的三国杀
5G助推AR开启新产业周期，AR眼镜开启专用AR终端时代
新商业基础设施持续丰富完善，赋能新品牌、新模式、新产品崛起，打造新型多元生活方式
【重磅】中国新经济龙头，赴港赴美上市报告合辑20篇
知识服务+付费+音频，开启内容生产新的产业级机遇，知识经济10年千亿级市场规模可期
从APP Store畅销榜4年更替，看内容付费崛起
新三板破万思考：新三板日交易量10年100倍？
九宇资本赵宇杰：科技改变消费，让生活更美好｜2017 GNEC 新经济新消费峰会
九宇资本赵宇杰：创业时代的时间法则，开发用户平行时间｜2016 GNEC 新经济新智能峰会
九宇资本赵宇杰：互联网引领新经济，内容创业连接新生态
｜2016 GNEC 新经济新营销峰会
