文 | 王启隆
出品丨AI 科技大本营（ID：rgznai100）
今天，Meta AI 的最新最强模型 —— Llama 3.1 如期而至。不仅刷新了开源 AI 模型的天花板，还顺带把闭源的也一并超越了。但是，守约的可不止是 Llama 3.1，还有
小扎关于本次发布的最新采访。
在放出采访全文前，我们还是先来了解一下这次的发布有多给力，可谓是 Meta AI 研发团队“全明星”出动：
Meta 生成式 AI 副总裁 Ahmad Al-Dahle 为这次发布做了一些基本的介绍：首先是
4050 亿
（Llama 3.1 405B）
参数的“超大杯”模型，该模型是迄今为止发布的最大、最强的开源模型，此前在四月份曾进行预览，昨天也是被提前曝光了出来。但事实上，这次 Llama 3.1 还升级了之前发布过的
80 亿
和
700 亿参数
的模型，它们在性能和功能上都有新的提升。三款模型都
支持多种语言。
其中，405B 模型在推理、工具使用、多语言处理、上下文窗口等方面有所改进，其基准测试成绩超过了四月份预览时的数据。如下图表所示，它在最经典的 MMLU（大规模多语言理解）测评里险胜了我们认知中的最强闭源模型，Claude 3.5 Sonnet。
同时，这次升级把三款模型的上下文
窗口都扩展到了 128K Token，使模型能够处理更大的代码库或更详尽的参考材料。三款模型都具备工
具使用能力、增强的推理能力和改进的系统方法。此外，Meta 与合作伙伴紧密合作，用户现在可在 AWS、Databricks、NVIDIA 和 Groq 旗下的相应平台部署 Llama 3.1。Meta 坚信开源的力量，新推出的模型在更新的许可证下分享，允许开发者使用 Llama 的输出改善其他模型。今日起，Meta AI 的用户将可使用 Llama 3.1，Meta 希望开源 AI 成为行业标准，为生态系统繁荣和解决挑战提供帮助，并期待开发者社区的使用反馈。
模型下载地址：
https://llama.meta.com/
除了官方介绍以外，Meta 首席人工智能科学家、人称“AI 三大教父之一”的图灵奖得主
杨立昆
（Yann LeCun）终于又活跃了起来。之前他一直在和埃隆·马斯克“吵架”，一开始还只是两人对于 AI 的观点产生了分歧，后来逐渐变成了“挖黑料”和人身攻击，最近更是直接就美国大选等政治问题进行激斗，火药味十足，以至于 AI 相关内容都很少发了。
关于 Llama 3.1，杨立昆发的第一则推文是说 Meta 董事长兼首席执行官
马克·扎克伯格发布了一篇长文，
对 Meta 的人工智能生态系统的开放性作出了重大承诺，题为：“开源 AI 是通往未来的道路”（
Open Source AI Is the Path Forward
）。
这篇文章的总结便是，Llama 3.1，作为一款大语言模型（LLMs），它不仅是免费的、开放的，而且在性能上能与顶尖的专有系统相媲美。为了追求极致的性能、安全性、可定制性和效率，AI 平台应当像互联网的软件基础设施那样走向开放。
-
开源 AI 对开发者来说意味着福音：它支持微调，促进模型精简，提升安全性和效率，保护用户隐私，提供灵活性和可移植性，降低成本，同时汇聚了众多贡献者的智慧和力量。
-
开源 AI 对 Meta 而言，意味着更大的社区规模将加速创新的步伐。
-
开源 AI 对整个世界而言，它促进了 AI 助手在语言、文化、价值体系和兴趣中心方面的多样性，让更多人能够接触到 AI，同时也避免了控制权过度集中在少数人手中的情况。
但底下有人也很不解：立昆啊，你不是说 LLM 无法通往 AGI 吗？
杨立昆表示，虽然我依旧不看好 LLM，但 LLM 确实是很有用的！
杨立昆一连串发了许多推文，还转发了很多业界人士的评论，其中补充了一些开发细节，比如本次
模型训练用了
16,000 块 NVIDIA H100 显卡
，还涉及了我们将在后面放出的扎克伯格最新采访（但期间他还是插入了几条大选相关推文，不忘对马斯克和特朗普的嘲讽……）。
其中，HuggingFace（
人称“AI 界的 GitHub”
） 联合创始人 Thomas Wolf 发了一条推，亮了。他表示：“Llama 3.1 版本最令人印象深刻的方面之一是随附的研究论文！
将近 100 页的深度知识分享
，全都是关于大语言模型的内容，这种程度的分享近期并不多见。真是令人惊喜！”
这篇论文内容包罗万象，从预训练数据的筛选、退火处理、合成数据的使用，到扩展规律的研究、基础设施的搭建、并行计算的应用，再到训练策略的制定、训练后的模型适应、工具的运用、性能的基准测试、推理策略的优化、模型量化的技巧，以及视觉、语音、视频等多模态信息的处理……令人眼界大开。
这次 Meta 在开源的力度方面下足了功夫，除了这篇 100 页论文，
他们还首次允许开发者使用 Llama 模型（包括 Llama 3.1 405B）来改进其他模型
。
“
也许，这是你今天所能找到的唯一一份能够从零开始，带你直达大语言模型领域最前沿的资料。
”
论文链接：
https://ai.meta.com/research/publications/the-llama-3-herd-of-models/
在立昆转发的一系列推文中，最引人瞩目的无疑是
吴恩达
（Andrew Ng）对本次 Llama 3.1 发布的赞美和祝福。吴恩达是斯坦福大学计算机科学系和电子工程系副教授、DeepLearning.AI 创始人，也是传奇 AI 实验室「谷歌大脑」（Google Brain）的创始成员之一。作为人工智能和机器学习领域国际上最权威的学者之一，吴恩达自己的名字其实是比他的头衔或职业还要响亮的。
吴恩达表示：“
感谢 Meta 和 Llama 团队对开源做出的巨大贡献！Llama 3.1 增加了上下文长度并改进了功能，这对每个人来说都是一份很棒的礼物。我希望像加州提出的 SB1047 这样的愚蠢法规不会阻止此类创新。
”
这里提到的 SB1047 是什么呢？
SB1047 是加利福尼亚州参议院于 2023 年提出的一项法案，全称是“
Safe and Secure Innovation for Frontier Artificial Intelligence Models Act
”(
前沿人工智能模型安全创新法案
)。截至 2024 年 7 月 3 日，该法案还在进行中，已经进行了第二次阅读并修正，并被重新提交给拨款委员会（
Committee on Appropriations
）审议。
这个法案的内容有：
-
要求开发者在训练覆盖模型前满足多项要求，包括实施
快速完全关闭
的能力，以及制定安全和安保协议。
-
禁止
开发者商业或公开使用可能导致“
关键危害
”的覆盖模型。
-
从 2028 年 1 月 1 日起，要求开发者每年聘请第三方审计师进行独立审计。
-
要求开发者
向新设立的“
前沿模型部门
”提交合规性证明
。
-
要求技术部门创建一个名为“
CalCompute
”的公共云计算集群,用于研究大规模 AI 模型的安全部署。
吴恩达称之为“
愚蠢
”的担忧，源于这些严格的监管要求可能会增加 AI 开发的复杂性和成本，从而可能阻碍像 Llama 3.1 这样的开源项目的发展，并给小型 AI 初创公司带来了负担。
过度监管是否会遏制创新？我们不妨听一听扎克伯格本人的回答。在昨天 Llama 3.1 模型提前泄露的时候，人工智能每日通讯 The Rundown AI 的创始人 Rowan Cheung 在 X 上预告了今天会放出他和马克·扎克伯格的最新采访，最终也是在 Llama 3.1 正式发布的时候准时发了出来，极其守约。
在这场采访中，扎克伯格火力全开，可能是刚发布模型之后的喜悦之情所故，他一改常态，心情相当喜悦，谈及了
Llama 3.1 背后的开发故事
、
对 Meta 和开源 AI 的期望
、
将 Llama 打造成 AI 版 Linux
、
苹果的封闭生态
。话不多说，我们这就进入正题（采访全文有做调整）：
跟着 Linux 再走一遍开源路
主持人
：
马克，非常感谢你接受这次访谈。显然，Meta 今天有重大的 AI 发布。你能给我们概述一下所有发布的项目及其重要性吗？
马克·扎克伯格
：
当然，非常高兴能参与这次访谈。
今天的重大发布是 Llama 3.1，我们推出了三个模型。
首次亮相的是一个拥有 4050 亿参数的模型。
这无疑是目前最为复杂的开源模型。
它实际上能与一些顶级的闭源模型直接竞争，在某些领域甚至更胜一筹
。
我非常期待看到人们将如何运用这个模型，特别是现在我们让 Llama 的社区政策允许人们将其作为指导模型来微调，基本可以用来创建他们想要的任何其他模型。
这次，Meta
更新了
开源策略
：
他们发布了
模型权重
，以便公司可以使用自定义数据对其进行训练并根据自己的喜好进行调整，
允许开发人员使用 Llama 模型（包括 405B）的输出来改进其他模型。
除此之外，我们将 4050 亿参数的模型进行了蒸馏，制作出了更新、性能领先于其规模的 700 亿和 80 亿参数模型。
它们同样具有出色的性能，成本效益比也非常高。
我非常期待看到大家用这些模型创造出什么成果。
从宏观角度讲，
我认为这对开源 AI 来说是一个里程碑式的时刻
。
我一直在思考这个问题，
我相信开源 AI 将成为行业标准，它将沿着 Linux 曾经走过的道路发展，即回到 Linux 普及之前的年代，那时许多公司都拥有闭源的 Unix 版本
。
当时，没有如此复杂的开源项目存在，人们普遍认为只有闭源开发模式才能完成如此先进的工作。
起初，Linux 因成本低廉及开发者能够以各种方式定制而获得立足之地。
随着时间推移，随着生态系统的成熟，它经历了更多的审查，实际上变成了更安全的选择、
更先进的选择，
有了更多的合作伙伴，构建了更多的功能，比如 Linux 的驱动程序等，最终使其具备了超越任何闭源 Unix 的能力。
因此，我认为 Llama 3.1 的这一时刻就像一个转折点，
Llama 有机会成为开源 AI 的标准，而开源将成为 AI 的行业标准
。
即使在性能方面尚未完全领先的地方，它在成本控制、定制灵活性以及模型的微调能力等方面已经领先。
我认为这些都是巨大的优势，我们将看到开发者们充分利用这些优势。
我们正专注于构建这个合作伙伴生态系统，将会有围绕它构建的各种不同功能。
所以，对此我真的非常兴奋。
主持人
：
确实，我已经研究过所有的基准测试了，Llama 3.1 的表现堪称惊艳。这无疑是首个拥有 4050 亿参数的开源前沿模型。有哪些具体的应用场景让你特别期待，希望能看到人们利用这个模型实现创新？
马克·扎克伯格
：
我最兴奋的莫过于见证人们如何利用这一模型来微调他们自己的模型。正如你提到的，这是第一个开源的前沿级模型，但并非首个达到前沿水平的模型。在此之前，已有一些模型具备了类似的能力。
所以，我认为人们将渴望直接在 4050 亿参数的模型上进行推理，而根据我们的估计，相较于 GPT-4o，这样做成本能降低大约 50%
。显然，这将对许多人产生重大影响。
但我认为，真正的新颖之处在于，由于模型权重的开放性，现在能够将模型精炼至任何你期望的规模，用于合成数据的生成，或是作为另一个指导模型。我们对于未来的构想，并非局限于某单一模型。
OpenAI、Anthropic、Google 或许各有其打造大型 AI 的愿景，但这从来不是我们的追求
。我们所展望的是一个充满多样性的模型世界，
每个初创企业、每家公司乃至政府机构，都将拥有各自的定制化模型
。
过去，在封闭生态系统的优越性远超开源之时，直接选用现成的封闭解决方案更为明智，尽管开源提供了定制化可能，但性能差距无法忽视。然而，如今情况已不同。随着开源技术几乎与封闭系统并驾齐驱，模型的广泛多样化将势不可挡。人们现在更有动力去定制、构建和训练完全匹配自身需求的模型，将自己的数据融入其中。他们将掌握实现这一切所需的工具，这得益于 Amazon 等公司通过 AWS、Databricks 及其他合作伙伴提供的全方位服务，致力于模型的提炼与微调。我认为，这才是真正的突破所在。真正令人振奋的是，这一趋势能走多远？这是一项前所未有的能力，因为此前从未有过如此复杂的开源或开放权重模型问世。
主持人
：
确实，这标志着一个重大的里程碑。你们是如何引导开发者掌握这些工具的？更广泛地讲，Meta 是否有计划或策略来向全球普及开源的重要意义？
马克·扎克伯格
：
确实，在 Llama 3.1 之前，我们的策略是 —— Meta 之所以在这个领域投入资源，根本原因在于我们需要确保能够触及行业领先的模型。鉴于我们在
移动领域
的过往经历（Facebook），我们不愿陷入依赖竞争对手提供核心技术的局面。因此，我们自主开发了这个模型。
在 Llama 3.1 发布前，我们预见到，如果选择开源，将能激发一个活跃的社区，这个社区不仅将拓展模型的潜力，而且将使之对所有人，包括我们自己，产生更大的价值。毕竟，这不仅仅是技术本身，而是一个正在构建的生态系统。为了使这项技术对我们真正有价值，同样需要一个广泛的生态系统支撑。我认为 Llama-3.1 带来的一项显著改变是，我们不再仅限于为自己开发模型，然后简单地将其推给开发者自用。
这次，我们采取了更为
积极主动
的态度，即建立合作伙伴关系，确保存在一个完整的生态系统，让各类企业能够利用这个模型创造价值，以我们自身无法覆盖的方式服务于开发者。我们不是公共云服务提供商。我们不是 AWS、Google 或 Azure。因此，开发者不会来我们这里搭建他们的项目。但我们希望确保所有主要的公共云服务商都能胜任这项任务。这涵盖了从模型托管到推理服务等基础功能。
同时，我们还希望确保，借助这个模型，一些新兴的技术，如模型提炼和微调，能够有专门的服务支持。许多这些服务在过去并未得到充分发展，因为使用封闭模型并不能有效实现这些功能。为此，我们必须与合作伙伴共同开展特定的工作。与此同时，我相信，像
Groq
这样的公司，他们在超低延迟推理领域有着卓越的表现，将会从中受益匪浅。我非常期待将这项技术交到他们手中。他们正在构建的某些项目将在启动时得以应用。此外，还有众多面向企业市场的公司，如戴尔、Scale.ai、德勤或埃森哲，它们在全球范围内与企业合作，负责技术部署。我认为，这些公司将扮演关键角色，帮助大型企业或政府部门构建定制化的模型。
许多公司渴望拥有一个专属于自己的模型，以便能够训练进自己的专属数据。然而，很多公司不愿通过 API 将数据传输给 Google 或 OpenAI
。这并非因为这些公司存在特定的隐私问题，而是出于同样的考量，人们偏好加密通信，如使用 WhatsApp。人们渴望的是一种从设计之初就注重安全的架构，确保数据始终在自己掌控之中。我认为，围绕这一理念，将孕育出全新的市场机遇。我对这一切充满期待。确实，这次我们采取了更为积极的态度，致力于生态系统建设，因为
我认为这是促进技术发展、为所有人创造更大价值的关键路径。
锐评苹果
主持人
：
接下来，我们聊聊你的公开信（前文提及的《
开源 AI 是通往未来的道路
》）。
除了 Meta AI
的公告，你还发布了一封信。
信中你直接点名批评了
苹果及其封闭的开发方式
，这让我有些意外。你能进一步展开这个话题吗？苹果在哪些方面阻碍了 Meta，乃至可能影响了其他公司？
马克·扎克伯格
：
我的观点更多的是从哲学层面出发，它影响了我个人处理事务的方式，以及在心理上改变了我对构建事物的思考方式。
实际上，我并不清楚苹果将如何对待 AI。他们既进行开放开发，也涉足封闭开发。顺便说一句，我想指出，我并不自诩为开源的精英人士。我只是认为，在这个案例中，开放模型有望成为主流。我认为这将对世界产生积极影响。我们既进行开放开发，也进行封闭开发。我对此有所了解。
我并不是说苹果在 AI 方面必然处于不利地位。但如果回溯过去 10 到 15 年的历程，对我们而言，这是一段塑造性的经历，在竞争对手控制的平台上构建我们的服务。
出于各种动机，他们的确 —— 从我的视角来看，苹果施加了不同规则来限制我们的行动。是的，他们征收了各种税费。
在某个时刻，我们分析过，如果没有这些随意设定的规则，我们可能会更加盈利
。
我认为，许多其他企业也有同感
。
但说实话，金钱方面的问题，虽然让人烦恼，但并非我最关切的。我认为，
当你倾力打造你认为对社区有益的功能，却被告知无法上线，因为某家公司想要将你置于局限中，以便更好地与你竞争，这确实让人感到有些挫败
。
就 AI 而言，我目前的担忧实际上并不在于苹果。而是更多地关注其他公司，以及未来的演变趋势。在一定程度上，这并不是我在指责他们是坏人。我认为这仅仅反映了系统的物理特性和激励机制。
如果你构建了一个封闭的系统，那么最终会有一系列力量促使你收紧控制。我认为，如果 AI 生态系统能更像互联网那样发展，但功能更加强大，那将是一个更为健康的状态。由于移动领域的发展路径，封闭模型占据了主导，苹果几乎囊括了所有手机利润，尽管市面上可能有更多 Android 设备。我认为这存在一定的近期偏见，因为这些都是长期周期。iPhone 在 2007 年首次亮相，如今我们几乎已经踏入这个领域近 20 年。
特别是当你借鉴 Linux 的类比：
人们肯定不会认为 Windows 是最开放的，但与苹果将操作系统与设备捆绑在一起的做法相比，Windows 却代表了一种更开放的生态系统，并取得了胜利
。
我对下一代平台抱有部分期望，包括
AI
、
AR
和
VR
，那就是我希望 AI 应站在构建开放生态系统的一边，这不仅仅是想要构建一个封闭生态系统之外的替代方案，而是希望恢复这个行业至一种状态，即开放生态系统实际上处于领先地位。我认为这是完全可行的。我认为我们在 AI、AR 和 VR 方面正朝着正确的方向迈出坚实的步伐，但这是我从个人和哲学角度真正关心的事情，鉴于过去 10-15 年移动开发的封闭模式对我们的行业所施加的创造力限制。
开源会比闭源还安全
主持人
：回到
信中的
开头部分，你强调了为何开源对开发者有益，这部分内容非常精准。
你能否深入探讨一下，开源 AI 对社会整体将产生哪些深远影响？
马克·扎克伯格
：
在我看来，开源是构建积极向上的 AI 未来不可或缺的一环。AI 将为人类带来生产力的飞跃、激发无限创造力，有望在科研领域发挥重要作用。但我坚信，开源是确保 AI 成果惠及全球、人人皆可触及的关键所在。它不应被少数几家巨头独占。同时，我认为，开源最终将成为构建更安全、更可靠的 AI 途径。
当前，
关于开源是否安全的争论甚嚣尘上，而我持有不同的见解。我不仅认为它是安全的，甚至比封闭开发模式还更安全
。让我们拆解这个问题，伤害的形式多种多样，你不能仅关注其中一种。但在此处，我想强调的是无意间的伤害，即系统以人们未曾预料的方式失控。还有蓄意的伤害，即不良分子企图利用系统实施破坏。对于无意间的伤害，值得一提的是，人们普遍担忧的 AI 失控的科幻场景，大多是出于非故意的原因。实际上，我认为，开源在这方面更具优势，因为它会接受更广泛的审视，享有更高的透明度。
我相信，所有使用 Llama 防护措施和内置安全工具的开发者，将对这些工具进行严格的审查、测试及压力测试。我推测，如同传统开源软件，任何潜在的问题都将比封闭模型更快地被发现并解决。因此，在无意伤害方面，开源展现出更强的安全保障，这也是为什么围绕开源安全性的讨论主要聚焦于防范蓄意伤害。既然它是开放的，如何防止不良分子利用它实施恶意行为成为了关键议题。
我认为，这个问题大致可分为两类：
较小规模的行动者，如个人或小团体试图制造混乱；以及较大规模、更复杂的行动者，如拥有雄厚资源的大国
。
这两类情况的组合各具特色。对于较小规模的行动者，我认为保持权力均衡至关重要。在我们管理社交平台的过程中，我们面临着各种企图破坏平台秩序的不良分子。很多时候，他们借助 AI 系统实施破坏，而我们阻止和识别他们的方法是部署更先进的 AI 系统，利用更强大的计算能力来揭露他们的行径。我认为这与政府和执法部门维护社会秩序的方式颇为相似。诚然，总有一小撮可能触犯法律的人，但警察和军队资金充裕、资源丰富，我认为这在 AI 领域也一样。
事实上，我认为，你希望看到的是开源被广泛应用。若它是封闭的，可能面临风险，难以实现广泛部署。但当它是开放的，所有拥有雄厚资源的大机构将有机会以有效制约不良分子的方式部署这些系统。
随后，我们面对的是大型复杂行动者的问题。在这方面，常被提及的一个疑问是：如果开源了最尖端的模型，如何确保它不会落入其他国家手中，或被用来对抗我们？这有时被用作封闭开发的
借口
。
但我认为，这种观点忽略了几个重要点。为了让这一切顺利运行，西方国家首先必须具备优势。我们的优势在于开放和分散的创新体系，不仅局限于少数大公司或实验室，还包括初创企业、高校和在公司内部探索创新的个体。这是整体图景中的重要组成部分，我们不应扼杀这种活力。我认为，如果我们这样做，将增加失去领先地位的风险。但随之而来的问题是，任何国家的政府，都存在窃取模型和间谍活动的风险。因为许多模型可以轻松存储在硬盘中，便于携带。
我们必须正视现实，评估我们能否长期保护这些模型，不仅是对于我们自身，对于任何科技公司而言，这都是一个艰巨的挑战。这是一个极其复杂的任务。我担忧的是，如果我们封锁开发，最终可能进入一个局面：仅少数几家公司加上能窃取模型的对手拥有访问权限，而所有初创企业、高校以及致力于创新的个人将被边缘化，无法参与其中。
我的观点是，我们应该设定一个实际的目标，即利用开源技术构建出世界领先的、最为稳健的生态系统，并期望我们的企业与政府、盟国政府在国家安全方面紧密合作，确保政府能够持续整合最新技术，无论是在半年还是八个月的时间内，对对手保持优势。
我认为，在当前环境下，我们很难获得长达十年的永久领先，但我相信，持续的领先优势将使我们更加安全，尤其是在我们处于领先地位时，而非他人倡导的模式，即少数几个封闭实验室锁定开发，我们可能面临丧失领先地位的风险，而其他国家政府可能已获取技术。这是我的立场。实际上，我认为在促进全球繁荣、推动科技进步以及确保安全性方面，我们终将认识到，随着时间的推移，开源将成为主流。当然，问题不可避免，我们需要采取措施应对，严格测试每一环节，与政府在所有相关事务上紧密合作，我们也将一如既往地推进这些工作。这是我基于当前
认知，对最终平衡状态的展望。
主持人
：
让我们继续深入探讨开源 AI 的益处。你在信中提及的另一个要点是，开源 AI 能加速创新步伐，促进经济增长。这一进程已呈现出哪些变化？你对未来有何预期？
马克·扎克伯格
：
确实，无论 AI 如何演进，都会带来一系列显著影响。此外，我认为开源 AI 特别彰显了其独特价值。在我看来，AI 在当今所有正在研发的技术中，拥有超越任何单一技术的潜力，能够提升生产力，加速经济增长，赋予每个人更多创造力，创造出更丰富多彩的作品。我坚信，这将是无比美好的。同时，我寄望于它能在科学与医学研究领域发挥积极作用。
然而，目前仍有许多人无法触及微调或构建前沿 AI 模型的能力。因此，他们只能受限于大型实验室的成果。正如我之前所述，我认为，我们围绕创新文化的核心特征之一，在于不仅大企业在引领创新，还有无数初创企业、黑客、学者及大学里的创新者。我认为，应当赋予所有这些群体访问前沿 AI 模型的机会，使他们能够在模型基础上进行创新，而不仅仅是运行模型，这是他们通过封闭源码的 AI 模型供应商所能做到的极限。但如今，他们可以在此基础上进行创新，调整模型，将其精炼为更小巧的版本，实现在笔记本电脑、手机或其他自建设备上的运行。我认为这将释放出巨大的创新潜能。
