现在与大模型有关的大型活动几乎少不了黄仁勋的身影。他身边的人总在换，现在到了 Meta 创始人马克·扎克伯格。
周一，两人在年度 SIGGRAPH 大会上，谈了生成式人工智能最新进展、利用最新人工智能技术可能实现的事情以及对开源、闭源的态度。
扎克伯格更看好大模型与具体应用场景的结合，“就算现在基础模型发展停止，现在研发的东西，也够我们做 5 年产品创新。” 他还相信，每家企业终将拥有一个与客户交谈和互动的人工智能代理。谈到开源和闭源之争时，扎克伯格异常兴奋，爆了句粗口。
扎克伯格承认开源大模型和其他项目带点 “自私”，但不意味着他们意图不纯。他们这么做的部分原因是比其他一些公司慢，当他们建成计算设施时，已经不具备竞争优势了。开源一定程度上是 Meta 的竞争策略。
台上的扎克伯格延续着近几个月来的形象风格：长卷发、深色短袖、修身牛仔裤，脖子挂着条金项链。他在聊到智能眼镜时说提到了外形变化，说自己正试着成为一种风格的影响者，这样可以在眼镜上市前影响一下潜在受众。
这场对谈还有黄仁勋与扎克伯格的 “相互吹捧”。黄仁勋说，Meta 去年开源的大模型 Llama 2，是去年 AI 领域最大的事件。扎克伯格迅速回答：H100 才是。
不论 Meta 开源的 Llama，还是英伟达的 GPU，都是当前大模型领域重要组成部分。作为这两家巨型公司的掌舵者，黄仁勋和扎克伯格怎么看待未来，都会影响全球数十亿人用到什么样的大模型和产品。
黄仁勋：
女士们，先生们，我有一位特殊来宾，但先请大家就坐，我们即将开始。我非常欣赏他，原因有三：一，只有少数企业家创办了触及全球数十亿人生活、组成社会结构一部分、发明新服务且拥有最先进计算技术的公司；二，很少有企业家或创始人将公司带到万亿美元市值的高度；三，他大学肄业。能同时具备这三个特质的人确实不多。女士们，先生们，让我们欢迎马克·扎克伯格。
马克，欢迎第一次来到 SIGGRAPH。难以置信，计算领域的先驱之一、现代计算的推动者，我不得不邀请他来 SIGGRAPH。无论如何，马克，请坐下。很高兴你能来。欢迎。感谢你飞过来。
扎克伯格：
是啊，这确实很有趣。你已经待了五个小时了，对吗？
黄仁勋：
当然，这里是 SIGGRAPH，90% 的人都是博士。SIGGRAPH 最棒的地方在于，它是一个集计算机图形学、图像处理、人工智能和机器人技术于一身的展会。多年来，一些公司在这里展示了惊人的成果，像迪士尼、皮克斯、Adobe、Epic Games，当然还有英伟达。
我们今年在这里做了很多工作。我们在人工智能和仿真交叉领域发布了 20 篇论文。我们正在使用人工智能来帮助仿真实现更大规模、更快速度。例如，我们通过可微分物理学来创建仿真环境，用于生成人工智能的合成数据。所以这两个领域真的结合在一起了。
Meta 的人工智能很了不起。有趣的是当媒体报道 Meta 在过去几年才涉足人工智能领域时，好像忽略了 FAIR（Meta 的人工智能研究实验室）早在做的事。我们都在用的 Pytrorch 就来自 Meta。你们在计算机视觉、大语言模型、实时翻译都取得了开创性突破。
我想我的第一个问题是，今天你怎么看待 Meta 在生成式人工智能方面的进展？你们如何用它来加强运营或者增加新功能？
扎克伯格：
有好多问题。首先，真的很开心能来，我们已经参加 SIGGRAPH 8 年了，虽然相比你们我们还是新手，我记得是在 2018 年……
黄仁勋：
你的穿着很适合（黑色），但这是我的地盘。
扎克伯格：
谢谢你的邀请。我记得是在 2018 年，我们展示了用于 VR 和混合显示头显的早期手部追踪技术，也谈了关于 Codec Avatars 的进展，我们想在消费级头显里驱动逼真的虚拟化身，现在越来越接近实现这一目标。同时我们在显示系统方面也做了很多工作，包括一些未来的原型和研究，为了让混合显示头显设备变得非常薄，需要非常先进的光学堆栈、显示和集成系统。那是我们第一次在这展示的东西。
今年我们不光会讨论元宇宙，还有和人工智能有关的方方面面。就像你说的，我们成立了 FAIR，即人工智能研究中心。那时候还是 Facebook，现在是 Meta，在我们开始 Reality Labs 之前，我们已经在这个领域工作了一段时间。生成式人工智能是一次有趣的革命，我认为它会让所有产品都变得不同和更有趣。
在我们已经有的主要产品里，比如信息流和推荐系统，以及 Instagram 和 Facebook。一开始只是关于和朋友的联系，排名总是很重要，用户希望掌握朋友们的动态。如果有人发的动态很重要，比如你表弟生了个孩子，但我们把它埋在信息流里、没有置顶，你肯定会很生气。
所以排名很重要，但过去几年里，越来越多的公共内容出现，现在不再只有来自朋友的几百或几千条潜在动态，而是数百万甚至数千万条内容片段。这就变成了一个非常有趣的推荐问题。有了生成式人工智能后，Instagram 会推荐给你世界各地跟你兴趣匹配的内容，不论你是否关注了那些人。
未来很多东西都会通过这些工具创建，有些是创作者的新内容，有些是即时定制的内容，有些是不同内容整合、合成而来的内容。这只是我们的核心产品会如何变化的一个例子，它已经演变了 20 年了。
黄仁勋：
但很少有人意识到，这个世界构想过的最大计算系统之一是推荐系统。
扎克伯格：
这是不同的路径。不完全是人们对生成式人工智能的讨论热点，但和所有用 Transformer 架构构建通用模型的方式相似。
黄仁勋：
将非结构化的数据嵌入特征中。
扎克伯格：
是的，推动算法推荐质量改进的一个关键因素是，过去有不同模型来处理不同种类内容，比如我们短片（Reels）排名和推荐系统用一个模型，长视频需要另一个（模型）。然后想些办法让不同内容显示在一起。但是越通用的推荐模型会让质量越好。这部分涉及到模型的经济性和内容流动性，你可以从更大的池子里提取内容，而不是低效的从不同池子里提取。
所以我希望有一天所有 Facebook 和 Instagram 都由单一人工智能模型驱动，统一不同类型的内容和系统，按照不同目标和时间分类。一部分展示你今天想看的有趣内容，一部分帮你建立长期的人际网络，比如你想认识的人和关注的账号。
黄仁勋：
这些多模态模型往往更善于识别模式、弱信号等。所以，人工智能在你的公司中已经深入到如此有趣的程度。你们已经构建了 GPU 基础设施，运行这些大型推荐系统已经很长时间了。
扎克伯格：
拖了这么久你才开始提 GPU。
黄仁勋：
我想表现得友好一点，你是我的客人……生成式人工智能很酷，最近当我使用 WhatsApp 时，感觉好像在跟它协作，我很喜欢。想象一下，我在打字，它在生成图像。我修改内容，它生成其他图像。比如输入 “一个中国老人在日落时分品尝威士忌，旁边有三条狗，一条金毛、一条贵宾、一条伯恩山”，它就生成了一张很好的图片。这就是我每个月的日常。
扎克伯格：
我们每个月都在进步……我最近和女儿们在一起的时间很多，会将她们想象成美人鱼，很有趣。这就是它的另一面。一方面，通用模型将为我们拥有的所有工作流和产品带来重大升级，另一方面，它可以创造很多全新事物。
Meta 人工智能的想法是创造一个可以帮助你完成各类任务的助手，而且很有创造性。像你说的，它们很通用，所以不必拘泥，它能回答任何问题。
随着时间推移，当我们从 Llama 3 进化到 Llama 4 以及更先进的模型，它将不再是一个给了提示就回复的聊天框，在那里面循环往复，而是很快会进化成你想要的样子——告诉他你想干嘛，它可以在多个时间维度完成任务。它们会完成一些需要很长时间执行的计算任务，在几周甚至几个月后，当某些事件发生时突然回来找你，它将变得非常强大。
黄仁勋：
今天的人工智能有些单调，有点像回合制。你说些什么，它回你些什么。但显然，当我们思考或面对一个问题时，我们会考虑多个选项，或者我们会构建一个决策树，并在头脑中模拟每个决策的不同结果。所以在未来，人工智能也可以做差不多的事情。你关于 Creator 人工智能的愿景简直妙极了，告诉大家 Creator 人工智能和人工智能 Studio 的情况吧。
扎克伯格：
我认为不会只有一个人工智能模型，业内其他一些公司正在这么做，创立单一的人工智能代理。我们也有很多人工智能助手，但我们希望让使用 Meta 产品的所有人有能力为自己创建助手。无论是平台上数百万的创作者，还是数以亿计的小型企业，我们最终希望能导入不同内容、快速建立能够跟你的客户互动的业务助理，做些销售和客户支持工作。
我们推出了一个人工智能 Studio，它基本上是一套工具，最终将使每个创作者都能创建一个人工智能版本的自己，作为一个代理或助手，与他们的社区互动。这里有个根本性问题，人一天只有 24 小时，不可能跟所有粉丝高频互动，人工智能代理解决了这个问题。你可以训练它，代表你以你希望的方式进行互动。我认为这是一种非常创造性的尝试，几乎像是你发布的一件艺术品或内容。要明确一点，它并不是与创作者本人互动，但我认为这将是另一种有趣的方式，就像创作者在这些社交系统上发布内容一样，能够有代理来做这些事情。
相似地，人们会为了各种用途创建自己的代理，为了完成任务，微调、训练。有些会很有趣，有些很蠢，有些就是搞笑的，我们可能不会在 Meta 人工智能里构建所有这些助手，但大家会对此感兴趣并与之互动。
有一件事让我很惊讶，Meta 人工智能最主要的用途之一是被人们拿来模拟解决社交难题。无论是职业场景、比如我想向经理要求升职加薪，或是跟朋友争执，又或是和女朋友吵架，你可以直接扮演角色，看看对话如何发展，获得反馈。
很多人不满足于跟同一类型的代理互动，不管是 Meta 人工智能还是 ChatGPT，他们想创造自己的东西。这就是人工智能 Studio 的大致方向，关乎一个更大的愿景——不应该只有一个与人互动的大型人工智能，我们觉得事物更多样，世界会变得更美好。
黄仁勋：
如果你是一个艺术家，有自己的风格，你可以把自己所有作品整合进一个模型并微调模型，让它按照你的艺术风格创作内容，甚至可以给它一幅草图作为灵感为你生成内容。未来，每家餐厅、每个网站可能都会有这些人工智能。
扎克伯格：
是的，就像每家公司都有电子邮件地址、网站和社交媒体账户一样，我觉得未来每个企业都将有一个人工智能代理，去跟客户互动。这在过去很难做到，公司的客户支持是个独立部门，跟销售无关，这不是 CEO 们想看到的。
黄仁勋：
显然我就是你的客户支持。每次马克需要什么，我区分不了那是聊天机器人还是他本人。
扎克伯格：
是我的机器人在问你。当你是 CEO 时，你需要做所有事情。但通常来说组织就不同事情针对性优化，但作为客户，你不想在购买东西和处理购买问题时走不同的路径，你只想有一个地方可以回答你的问题，并以不同的方式与企业互动。我认为这也适用于创作者。我认为这种个人消费者方面的互动。
黄仁勋：
所有这些跟客户的互动，尤其是他们的投诉，能让你的公司变得更好。事实上人工智能互动会吸引一些有用的系统知识，所有这些都能拿来分析、改进它。
扎克伯格：
是的，最终商业版本集成度更高，我们仍处于早期阶段。但人工智能 Studio 让人们可以创建自己的 UGC 代理和其他内容，并开始进入创作者创造人工智能的循环。我对此很兴奋。
黄仁勋：
我能用人工智能 Studio 来微调我的图像吗？
扎克伯格：
是的，我们很快会实现。
黄仁勋：
我能把所有我写过的东西丢进去，让它成为我的 RAG（检索增强生成）吗？
扎克伯格：
是的，基本上可以。
黄仁勋：
那么我可以将我写的所有东西加载进去，以便用作我的参考资料吗？
扎克伯格：
是的。
黄仁勋：
每次我回来时，它都会重新加载记忆，继续我们上次的对话，就像什么都没发生过？
扎克伯格：
是的，它会像任何产品一样，随着时间的推移变得更好。训练它的工具也会变好。不仅是关于你希望它说什么，通常创作者和企业都有他们想要避开的话题，它会变得更擅长处理这些事情。
我认为理想的版本不仅仅是文字。这跟我们在做的一些 Codec Avatars 工作有些交集。你会想要跟人工智能代理视频聊天。我们会达成目标，这样的场景没有离我们太远。飞轮正在飞速旋转，很令人兴奋，有很多新东西要建造。
尽管基础模型的进展目前有些停滞，我不觉得它会一直停滞，我想我们还有五年的时间来创新产品，让行业弄清楚怎么最有效地利用已有的东西。实际上我认为，基础研究正在加速。这是一个非常疯狂的时期，某种程度上是你促成了这一切。
黄仁勋：
谢谢，（台下掌声）我们是 CEO，我们是脆弱的花朵。我们需要很多支持。
扎克伯格：
我们已经很有经验了。我们俩是行业里任职时间最长的创始人了，对吧？
黄仁勋：
真的，真的。
扎克伯格：
而且你的头发都灰白了，我的只是变长了。
黄仁勋：
我的变灰了，你的变卷了。怎么回事？
扎克伯格：
它一直都卷，所以我以前留短发。
黄仁勋：
如果我知道成功需要这么长时间。
扎克伯格：
你可能一开始就不会开始。
黄仁勋：
不，我会像你一样从大学退学，早点开始。
扎克伯格：
这是我们性格的一个巨大差别。
黄仁勋：
你比我早开始了 12 年，那很好。
扎克伯格：
你做得非常好。
黄仁勋：
我会继续坚持的。
我喜欢你对于每个人、每家公司都能拥有各自人工智能的愿景。在我们公司，我希望每位工程师、每位软件开发者都能有一个或者很多个人工智能。
我欣赏你的愿景，因为你也相信每个人和每个公司都应该能创造自己的人工智能，所以你开源了。当你开源 Llama 时，我觉得很棒，Llama 2.1。顺便提下，我认为 Llama 2 可能是去年人工智能领域最大的事件。
扎克伯格：
我认为是 H100。
黄仁勋：
这是个先有鸡还是先有蛋的问题。哪个先出现的？
扎克伯格：
H100。不，Llama 2 实际上不是 H100（训练的）。
黄仁勋：
没错，它是 A100（训练的）。
我说 Llama 2 是最大事件，是因为它的出现激活了每家公司和每个行业，突然间，所有医疗公司都在创建人工智能，每家大公司、小公司或者初创公司都在创建人工智能，这让每个研究人员都能重新参与人工智能，给他们一个起点。现在 Llama 3.1 已经发布了，我们一起部署、将它推给全球各地的企业，兴奋之情难以形容。我认为它将支持各种应用程序，给我讲讲你的开源哲学。
你开源了 Pytorch，现在它是人工智能开发的主要框架。你们现在开源了 Llama 3.1，围绕它已经搭起整个生态系统，这很惊人，这一切从何而来？
扎克伯格：
背后有很长的历史。我们一直在做大量的开源工作，坦白说，我们建立分布式计算基础设施和数据中心比其他科技公司晚，当我们开始时，已经没有竞争优势。所以我们想，那不如直接公开，这样就可以从整个生态中获益。所以我们有很多类似项目。最大的一个可能就是开放计算。我们设计了服务器、网络和数据中心，并把这些设计公开，使之成为行业标准，围绕它组织供应链，所有人都节约了资金。通过开源，我们基本上节约了数十亿美元。
黄仁勋：
开放计算也让 Nvidia HGX 成为可能，我们为一个数据中心设计的产品可以在每个数据中心运作，很了不起。
扎克伯格：
这段经历很棒。我们还在一些基础设施工具上应用了它，比如 React、Pytorch。等到 Llama 出现时，我们对开源人工智能模型持积极态度。
仅就人工智能模型，有几个角度去看待。一是公司过去 20 年建立的东西确实很有趣，最大的挑战之一在于要通过竞争对手的移动平台来发布我们的应用程序。一方面，移动平台对行业有巨大好处，另一方面，通过竞争对手来推出产品是个挑战。
而且 Facebook 的第一代版本是在开放的网页上，当它转移至移动端，现在每个人口袋里都有个电脑，这很棒，但我们可以做的事情受到了很大限制。
当你观察计算时代的更迭，如今每个人都只盯着手机，造成了强烈的近因偏差，因为苹果赢了而且制定了规则。我知道市面上还有很多 Android 手机，但苹果基本上拥有整个市场和所有利润，Android 基本是在跟随苹果，这一代苹果很显然是赢家。
但并不总是如此，如果你往前回溯一代，苹果还在做他们的封闭生态，微软虽然不是一家完全开放的公司，但跟苹果相比，所有的 OEM、不同的软件和硬件都可以使用 Windows。Windows 是一个更加开放的生态系统，而且在个人电脑时代占据了主导。
我希望在下一代计算中，我们将回到一个开放的生态系统再次成为主流的时代。总会有封闭和开放的不同生态，各有原因、各有优势。我并不是一个狂热的开源支持者，我们也做封闭源代码的事情，并不是所有我们发布的东西都是开源的。但我觉得对于整个行业正在构建的计算平台来说，开源软件有很大的价值。我对这个问题的价值观同样适用于人工智能、Llama 以及 AR 和 VR。我们正在建立一个混合现实操作系统 Horizon OS，它是一个类似于 Android 和 Windows 的开放操作系统，我们将和不同硬件厂商合作，制造各种各样的设备。
我们想让开放生态系统重回领先，而且我对开放生态赢得下一个计算时代很有信心。虽然有点自私，在经营这家公司一段时间后，我对未来五到十年的目标之一就是，让社交体验建立在我们自己的基础技术之上。我尝试过建立很多东西，最后都被拒绝了，因为要由平台商来提供。不，去他 x 的，为了下一代，我们要全力建设…...
黄仁勋：
我们直播要被掐了。
扎克伯格：
对不起。
黄仁勋：
哔～。
扎克伯格：
我能克制 20 分钟的，但是提到封闭平台就让我很生气。
黄仁勋：
这是一个很棒的世界，有人致力于建造最好的人工智能，无论他们如何建造，他们将其作为服务提供给全世界。但如果你想自建人工智能，你也有自主创造的权利、使用的权利。我就不想自己做身上这件夹克，我更喜欢别人帮我做好，皮革可以开源对我来说就没什么价值。但我认为人们既能拥有优质服务，又能选择开放的服务和能力，就能让我们拥有一切。
你们用 Llama 3.1 做的事太棒了，有 4050 亿参数版本、700 亿参数版本和 80 亿参数版本，可以用来生成合成数据，用大模型来教小模型。尽管更大的模型会更通用和耐用，但更小的模型可以更灵活适用于不同操作领域，以更低成本运营。
你创建了叫 Llama Guard 的守卫，非常棒。现在你以一种透明的方式构建模型，拥有一流的安全团队，一流的伦理团队，让每个人都知道它是以正确方式构建的，我真的很喜欢这部分。
扎克伯格：
回到刚刚被岔开之前的话题，我们拥有某种一致性，构建（开源人工智能）是因为我们希望它存在，不想被某些封闭模型隔断。这不像开发一款软件那么简单，人工智能需要一个围绕它的生态系统。如果我们不开源，它几乎不太可能奏效。我们这么做不是为了利他，尽管它会对生态系统有帮助。我们这样做是因为我们认为这将使我们构建的东西在有强大生态系统的情况下最好。
黄仁勋：
看看有多少人为 Pytorch 生态系统做出贡献。仅英伟达就有数百人专门致力于改进 PyTorch，使其更可拓展、更高效。
扎克伯格：
一旦某些事物成为行业标准，其他从业者会围绕此标准开展工作。所有的硬件和系统最终都会优化以运行这件事，这将使每个人受益，同时也使我们正在构建的系统运行得更好。这只是展现开源有效性的一个例子。因此，我认为开源策略是一项明智的商业策略，尽管这一点尚未被所有人充分理解。
黄仁勋：
我们非常喜欢这一点，以至于围绕它建立了一个生态系统。
扎克伯格：
你们一直都很棒。每次我们发布一些新的东西，你们都是第一个发布、优化并使其运作的。所以，我非常感谢你们的努力。
黄仁勋：
我们有优秀的工程师。
扎克伯格：
而且你总是能迅速投入到这些东西中。
黄仁勋：
是的，我非常支持。虽然我年纪大了，但对事物的观察依然敏锐，这是 CEO 的必备素质。Llama 的重要性我深有体会。我们围绕它构建了一个名为人工智能工厂、人工智能铸造厂的概念，帮助人们实现构建人工智能的梦想。对一些人来说，拥有自己的人工智能至关重要。因为一旦人们将人工智能纳入他们的数据飞轮，公司的知识就会被编码并嵌入到人工智能中，因此这个数据飞轮不能部署在别处。开源能让他们做到这一点，但他们不知道如何将这一切转化为人工智能。
所以我们创建了人工智能铸造厂的概念，提供工具、专业知识、Llama 技术，有能力帮助他们将一切转化为人工智能服务。当我们完成之后，他们接管它，它的输出成果就是 NIM，一项推理微服务，客户可以下载并在任何地方运行，包括在本地。
我们有一个完整的合作伙伴生态系统，包括能够运行 Nims 的 OEM 厂商，以及像埃森哲这样的全球系统集成商（GSI），并与其共同开发，创建基于 Llama 的 Nims 和流程。现在我们正在帮助世界各地的企业实现这一目标。这真的很令人兴奋，而这一切都是由 Llama 开源所触发的。
扎克伯格：
是的。我认为帮助人们从大型模型中提炼出自己的模型很有价值。正如我们之前在产品方面讨论的，我不认为会存在一个统一的人工智能代理或模型供所有人使用。
黄仁勋：
我们开发了多种专业人工智能，包括芯片设计人工智能，软件编码人工智能。我们的软件编码人工智能理解 USD，因为我们为 Omniverse 编写 USD。我们有理解 Verilog 的软件人工智能，还有能理解 bug 数据库、知道如何分类错误并发送给合适工程师的软件人工智能。每个人工智能都是基于 Llama 进行微调的，并配备了相应的防护措施。例如，我们为芯片设计研发的人工智能不会涉及政治或宗教等话题。我认为每家公司都会针对其每项功能定制人工智能，而它们需要帮助才能实现这一点。
扎克伯格：
是的，未来的一个重大问题是，人们在多大程度上会使用更大、更复杂的模型，还是训练出于特定需求的模型。我敢肯定，各种不同的模型将会被广泛普及。
黄仁勋：
我们使用最大的模型，以充分利用我们工程师的宝贵时间。目前，我们正在优化 4050 亿模型的性能，这种规模的模型无法在任何 GPU 上运行。所以 NVLink 交换机的性能非常重要，能允许 GPU 相连。例如，在 HGX 中，就有两个这样的交换机。我们使这些 GPU 能够高效运行 4050 亿模型。我们希望使用尽可能好的模型，以确保工程师们能够得到最高质量结果的呈现。
扎克伯格：
4050 亿参数模型的推理成本大约是 GPT-4o 的一半。在这个层面上，它已经相当不错了。但对于那些希望在设备上运行更小型模型的用户，他们会将其简化，这涉及到一系列不同的服务。
黄仁勋：
（4050 亿模型）人工智能正在运行。假设让它来设计芯片，每小时花费大约 10 美元，如果将其服务能力分配给多位工程师，成本会更低。鉴于我们为工程师支付的高薪酬，人工智能的成本效益可以显著提升他们的能力。
扎克伯格：
（我认同人工智能的效用）你不需要说服我。
黄仁勋：
如果你还没有雇佣人工智能，马上去做。
接下来，让我们讨论下一波浪潮。我非常喜欢你们在计算机视觉领域做的工作，英伟达内部经常使用 Segment Anything 模型。我们正在训练人工智能模型以处理视频，以便更好地理解和模拟世界，例如用于机器人技术和工业数字化，将这些人工智能模型连接到 Omniverse，让机器人在 Omniverse 世界中更好地操作。Meta 已经推出了 Ray-Ben Meta 智能眼镜，这种将人工智能应用于虚拟世界的愿景非常吸引人。告诉我们有关它的情况。
扎克伯格：
是的，这里有很多内容要讲。实际上我们正在 SIGGRAPH 上推出 Segment Anything 2。这个新版本速度更快，并且现在也支持视频处理。顺便一提，这些是我在夏威夷考艾岛牧场里的牛。
