【智能前线】第9期：Meta发布最强开源模型Llama 3.1，扎克伯格致辞，开源AI是未来发展方向

2024 年 7 月 23 日， Meta 正式发布最新开源大模型 Llama 3.1 系列，包含 8B 、 70B 、 450B 三个参数规模； 450B 参数模型，在多项基准测试中表现，媲美 OpenAI GPT-4o 、 Claude 3.5 Sonnet 等头部闭源模型； Meta 官方表示，迄今为止， Llama 系列所有版本总下载量，已超过 3 亿次。

Meta 创始人、 CEO 扎克伯格，在 Meta 官网发布文章，详谈开源 AI 策略，为这次发布造势。扎克伯格表示， Llama 3.1 版本将成为 AI 行业转折点，大多数开发人员将开始主要使用开源模型，开源 AI 是未来发展方向。

扎克伯格与科技评论家 Rowan Cheuang ，进行一场对谈，深入探讨开源 AI 未来，对社会与商业深远影响等。扎克伯格强调，开源 AI 不仅是确保 AI 未来发展关键，也是提升全球生产力与创造力的重要工具。

本期智能前线，选择扎克伯格致辞、扎克伯格与科技评论家 Rowan Cheuang 对谈、开源大模型 Llama 3.1 信息梳理， Meta 、有新 Newin 、智东西发布，六合商业研选精校，分享给大家， Enjoy ！

正文：

全文 11,921 字

预计阅读 24 分钟

扎克伯格致辞：开源 AI 是未来发展方向 Open Source AI Is the Path Forward

时间： 2024 年 7 月 23 日

来源： Meta

字数： 3,805

开源 AI 是未来的发展方向

在高性能计算的早期，当时主要科技公公司都大力投资开发自己闭源 Unix 版本。当时很难想象其他任何方法，能够开发出如此先进的软件。最终，开源 Linux 变得流行起来，最初是它允许开发人员随意修改代码，更加经济实惠，随着时间推移，它变得更加先进、更加安全，拥有比任何闭源 Unix 更多功能的更广泛生态系统支持。如今， Linux 是云计算与运行大多数移动设备操作系统的行业标准基础，我们都受益于更优质的产品。

Llama 2Llama 3 我相信 AI 会以类似方式发展。如今，有几家科技巨头正在开发领先的封闭模型，开源很快在缩小差距。

2023 年， Llama 2 只能与边缘之后的旧一代模型相提并论。 2024 年， Llama 3 在一些领域具有竞争力，甚至在某些方面领先于最先进模型。

2025 年开始，我们预计未来 Llama 模型，将成为行业中最先进的。即使在那之前， Llama 已经在开放性、可修改性、成本效益方面处于领先地位。

今天，我们正在迈出迈向开源 AI 成为行业标准的下一步。 我们发布 Llama 3.1 405B ，这是第一个前沿级别开源 AI 模型，新的与改进的 Llama 3.1 70B 与 8B 模型。除了相对封闭模型具有显着更好的成本 / 性能之外， 405B 模型是开源的事实，将使其成为微调与提炼较小模型的最佳选择。

除了发布这些模型外，我们还与一系列公司合作，以发展更广泛生态系统。

亚马逊、 Databricks 、 Nvidia 正在推出一整套服务，以支持开发人员微调与提炼自己模型。

Groq 这样创新者，已为所有新模型构建低延迟、低成本的推理服务。

这些模型将在包括 AWS 、 Azure 、 Google 、 Oracle 等在内所有主要云上提供。

Scale.AI 、戴尔、德勤等公司，已准备好帮助企业采用 Llama ，并使用自己数据训练定制模型。

随着社区壮大与更多公司开发新服务，我们可以共同将 Llama 打造成行业标准，将 AI 好处带给每个人。

Meta 致力开源 AI 。我将概述为什么我相信开源是最适合你的开发堆栈，为什么开源 Llama 对 Meta 有好处，为什么开源 AI 对世界有益，因此是一个长期存在的平台。

开源 AI 之于开发者的益处

当我与世界各地开发人员、 CEO 、政府官员交谈时，通常会听到一些共同的主题：

我们需要训练、微调与提炼我们自己的模型。 每个组织都有不同需求，最好使用不同尺寸的模型来满足这些需求，这些模型是通过特定数据进行训练或微调。设备上的任务与分类任务需要小型模型，更复杂任务需要更大的模型。

现在，你可以使用最先进的 Llama 模型，继续使用你自己数据对其进行训练，将其提炼为你理想尺寸的模型，无需我们或其他人看到你的数据。

我们需要掌控自己命运，不要被困在封闭的供应商中。 许多组织不愿意依赖他们无法运行与控制的模型，他们不希望封闭的模型提供商能够改变他们模型，修改使用条款，甚至完全停止为他们提供服务，他们不想被锁定在一个拥有模型独家权利的单一云中。开源使得有兼容工具链的广泛公司生态系统成为可能，你可以轻松在它们之间移动。

我们需要保护我们数据。 许多组织处理敏感数据，需要保护不能将其发送到云 API 上的封闭模型，其他组织简单不信任封闭模型提供商处理他们的数据。开源通过使你能够在任何地方运行模型来解决这些问题，开源软件往往更安全，它的开发更加透明。

我们需要一个高效、价格实惠的模型来运行。 开发者可以在他们自己基础设施上运行 Llama 3.1 405B 上的推理，成本大约是使用像 GPT-4o 这样封闭模型的 50% ，适用于用户界面与离线推理任务。

我们希望投资于将成为长期标准的生态系统。 许多人认为开源发展速度比封闭模型快，他们希望在能够为他们提供最大长期优势的架构上构建自己系统。

为什么开源 AI 对 Meta 有益

Meta 商业模式，是致力为人们打造最佳体验与服务。 为实现这一目标，我们必须确保始终能够获得最先进技术，避免陷入竞争对手的封闭生态系统，他们可能会限制我们构建。

我一次重要经历，是我们推出服务受到苹果平台限制时。在他们对开发者征税方式、他们施加的武断规则，阻止我们推出的所有产品创新之间，很明显，如果我们能够构建我们产品的最佳版本，竞争对手无法限制我们构建， Meta 与许多其他公司将能够为人们构建更好服务。哲学层面上说，这是我坚信在 AI 与 AR/VR 开放生态系统中构建下一代计算的重要原因之一。

人们经常问我是否担心通过开源 Llama 而失去技术优势，我认为这样做忽略更重要的一些方面：

首先，为了确保我们能够获得最好技术，长远看，不会被锁定在封闭生态系统中， Llama 需要发展成为一个完整的生态系统，包括工具、效率改进、硅优化、其他集成。

如果我们公司是唯一使用 Llama 的公司，这个生态系统不会发展，我们表现也不会比封闭的 Unix 更好。

其次，我预计 AI 的发展，将继续保持竞争激烈，意味着在某一特定时间点，开源任何模型，不会给予比下一个最佳模型更大优势。 Llama 要成为行业标准，关键在于一代又一代保持竞争力、高效性、开放性。

第三， Meta 与封闭模型提供商之间一个关键区别是，出售 AI 模型访问权限，不是我们商业模式。这意味着公开发布 Llama ，不会损害我们收入、可持续性或研究投资能力，就像对封闭提供商那样。这也是几家封闭提供商，一直在游说政府反对开源的原因之一。

最后， Meta 拥有悠久的开源项目与成功历史。通过与 Open Compute Project 共享我们的服务器、网络与数据中心设计，让供应链标准化我们设计，我们节省数十亿美元。我们通过开源领先工具，如 PyTorch 、 React 等，受益于生态系统创新。长期坚持这种方法，对我们一直有效。

开源 AI 之于世界的益处

我相信开源对于积极的 AI 未来是必要的。 AI 拥有比任何其他现代技术更大潜力，可以提高人类生产力、创造力、生活质量，加速经济增长，在医学与科学研究领域推动进展。开源，将确保全球更多人能够分享 AI 好处与机会，避免权力过度集中在少数公司手中，可以更均衡、更安全在社会各个领域推广这项技术。

目前存在关于开源 AI 模型安全性的辩论，我认为开源 AI 将比其他选择更安全。 我认为各国政府会得出结论，支持开源，符合他们利益，这将使世界更加繁荣与安全。

我对安全的理解框架是，我们需要保护免受两类伤害：无意与有意。

无意伤害，是指当 AI 系统可能造成伤害，即使运行它的人并非有意这样做。例如，现代 AI 模型可能无意中给出错误健康建议。或者，在更具未来感场景中，一些人担心模型可能无意中自我复制或过度优化目标，对人类造成损害。

有意伤害，是指恶意使用 AI 模型的坏人以造成伤害。

值得注意的是，大多数人对 AI 的担忧主要集中在无意造成的伤害上，从 AI 系统对将使用它们的数十亿人的影响，到人类大部分真正灾难性的科幻场景。 这方面，开源应该更安全，这些系统更加透明，可以被广泛审查。

历史上看，出于这个原因，开源软件更安全。使用带有 Llama Guard 等安全系统的 Llama ，可能比封闭模型更安全、更可靠。

大多数关于开源 AI 安全的讨论，都集中在有意造成的伤害上。

我们的安全流程，包括严格测试与红队评估，以评估我们模型是否有造成实质性危害的能力，目标是在发布之前减轻风险。

这些模型是开放的，任何人都可以自行测试。

我们必须记住，这些模型是通过已经在互联网上信息进行训练，在考虑危害时的起点，应该是模型是否能比可以从谷歌或其他搜索结果中快速获取的信息带来更多危害。

在思考有意图的伤害时，有助于区分个人或小规模行为者可能采取的行动，与拥有庞大资源的国家等大规模行为者可能采取的行动。

未来某个时候，个别不良分子可能会利用 AI 模型的智能，从互联网上可获得的信息中制造全新的危害。 这一点上，权力的平衡，对 AI 安全至关重要。

我认为生活在一个 AI 广泛部署的世界会更好，这样更大的行动者，可以制约较小的不良分子的权力。这就是我们在社交网络上管理安全的方式，我们更强大的 AI 系统识别，并阻止经常使用较小规模 AI 系统的不复杂行动者的威胁。

更广泛说，大型机构大规模部署 AI ，将促进社会安全与稳定。只要每个人都能访问相似世代的模型，这正是开源所倡导的，拥有更多计算资源的政府与机构，就能够用更少的计算资源来审查不良行为者。

美国与民主国家，应该如何应对像中国这样拥有大量资源国家的威胁是下一个问题。美国优势在于分散与开放的创新，有人认为我们必须关闭我们模式，以防止中国获得对它们的访问，我认为这不会奏效，只会给美国及其盟友带来不利。

我们对手擅长间谍活动，窃取适合放在一个拇指驱动器上的模式相对容易，而大多数科技公司远未以使这更加困难的方式运作。

似乎最有可能的情况是，只有封闭模型的世界，会导致少数几家大公司，以及我们地缘政治对手能够访问领先的模型，而初创公司、大学、小型企业错失机会。

将美国的创新，限制在封闭开发中，会增加我们根本无法领先的可能性。

相反，我认为我们最好策略，是建立一个强大的开放生态系统，让我们领先的公司与我们的政府与盟友密切合作，确保他们能够最好利用最新进展，并在长期内取得可持续的先发优势。

考虑未来机遇时，请记住，今天大多数领先的科技公司与科学研究，都是建立在开源软件基础上。如果我们共同投资开源 AI ，下一代公司与研究将使用开源 AI 。这包括刚刚起步的初创公司，可能没有资源从头开始开发自己最先进 AI 的大学与国家的人。

开源 AI ，代表着世界最好的机会，利用这项技术，创造最大的经济机会与安全保障。

让我们一起建设这个项目

过去 Llama 模型中， Meta 为我们自己开发了它们，然后发布，并没有过多关注构建更广泛的生态系统。

这次发布，我们采取不同方式。我们正在内部建立团队，以使尽可能多开发人员与合作伙伴使用 Llama ，并积极建立合作关系，以便生态系统中更多公司也能为客户提供独特功能。

我相信 Llama 3.1 版本，将成为行业一个转折点，大多数开发人员将开始主要使用开源，我期待这种方法从这里开始不断增长。

希望你能加入我们，一起努力将 AI 的好处带给世界上的每个人。

扎克伯格最新对谈： Llama 3.1 比 GPT-4 成本低 50% ，未来企业拥有 AI Agent 数量或超地球总人口

时间： 2024 年 7 月 25 日

来源：有新 Newin

字数： 5,461

2024 年 7 月 23 日， Meta CEO 扎克伯格与科技评论家 Rowan Cheuang ，深入探讨开源 AI 的未来，对社会与商业深远影响。扎克伯格强调，开源 AI 不仅是确保 AI 未来发展的关键，也是提升全球生产力与创造力的重要工具。

他认为，开源模型将使 AI 技术更安全、更透明，加速在各个领域的应用。 Meta 通过发布 Llama-3.1 等开源模型，致力建立更开放、更具创新力的 AI 生态系统。

Meta 目标，是在 2024 年底前，使 AI 助手成为全球使用最广泛的 AI 助手。通过提供免费、易于使用的先进模型， Meta 希望每个创作者与小企业，都能轻松创建自己 AI Agent ，提升客户服务与业务沟通的效率。

扎克伯格将当前对 AI 的怀疑态度，与 20 世纪 90 年代对互联网怀疑态度相提并论。他认为，随着时间推移， AI 技术将被越来越多人接受与认可。开源方法，将有助于确保 AI 技术广泛应用，使更多人从中受益，减少对 AI 恐惧与反对。

Meta 不仅关注技术开发，还重视将其整合到实际产品中，以便用户能从中受益。扎克伯格透露， Meta 未来商业模式，将侧重构建最好的产品，而不是通过销售模型本身赚钱。通过开放生态系统， Meta 希望推动更多企业与开发者参与进来，共同推动 AI 技术进步。

AI 技术有潜力显著提升全球经济增长与生产力，开源 AI 将使更多国家、企业与个人能够利用最先进技术，促进全球创新与经济发展。

Mark Zuckerberg ： 我们第一次发布一个具有 4,050 亿参数的模型，这是迄今为止最复杂的开源模型，这是任何人所发布的最先进的开源模型。

Rowan Cheuang ： 我有点震惊你直接批评苹果及其封闭的方式，你能否详细讲述一下苹果在什么地方阻碍 Meta ？

Rowan Cheuang ： 你能否谈谈你对 AI 长期愿景，以及未来可能会发生的事情？

今天 Meta 发布了重大 AI 公告，你能否概述一下所有发布的内容，以及为什么它们很重要？

Mark Zuckerberg ： 今天大新闻是 Llama-3.1 发布，我们推出 3 个模型。我们第一次发布一个具有 4,050 亿参数的模型，这是迄今为止最复杂的开源模型，这是任何人所发布的最先进开源模型。

某些领域，它甚至超越一些领先的封闭模型。我非常期待看到人们如何使用它，特别是现在我们制定社区政策，允许人们将其用作教师模型来进行蒸馏与微调，可以创建他们想要的任何其他模型。

我们将 4,050 亿参数的模型进行蒸馏，制作了更新的现在在其尺寸上处于领先地位的 7,000 ～ 8,000 亿参数模型，它们也具有非常好的性能与成本效益比，我非常期待看到大家如何使用这些模型。

整体上看，这是开源 AI 的重要时刻。我一直认为开源 AI 将成为行业标准，它会遵循类似 Linux 发展路径。

Linux 流行之前，有很多公司都有自己封闭版本的 Unix 。当时，没有任何开源项目能达到这种复杂程度，人们认为封闭开发模式是唯一可行方法。

最初， Linux 取得一定立足点，它更便宜，开发者可以不同方式定制它。随着生态系统发展，它得到更多关注，变得更加安全，功能更强大。越来越多合作伙伴为其构建更多功能，这使其比任何封闭的 Unix 系统都更具能力。

今天 Llama-3.1 的发布，是一个类似转折点， Llama 有机会成为开源 AI 的标准，使开源成为 AI 行业标准。

即使在性能上未完全领先，在成本、可定制性、可以拿来微调与进行各种操作的能力方面，它都有巨大优势。开发者会充分利用这些优势，我们专注构建这个生态系统，围绕它可以开发出各种不同能力。

Rowan Cheuang ： 我看到所有基准测试结果，令人难以置信。这是首个具有 4,050 亿参数的开源前沿模型。你对人们用这个模型构建的任何具体现实世界的用例，特别感兴趣吗？

Mark Zuckerberg ： 我最感兴趣的，是看到人们用它来蒸馏与微调自己模型。这是第一个开源的前沿级模型，它不是第一个前沿级模型。已经有其他具有这种能力的模型，人们会希望直接在 4,050 亿参数的模型上进行推理，我们估计，这样做的成本将比 GPT-4 低 50% 左右，这对很多人来说是一个很大差异。

这世界上真正新的东西，是它是开源的，人们可以将模型蒸馏到任何他们想要的大小，用于合成数据生成，作为教师模型使用。

我们对未来愿景，不是说会有一个单一的东西。 OpenAI 有一种愿景，他们会构建一个大 AI ， Anthropic 也有类似的愿景， Google 也是。这从来不是我们愿景，我们愿景是应该有很多不同模型。

每个创业公司、每个企业、每个政府，都希望拥有自己的定制模型。当封闭生态系统比开源系统好得多时，使用现成的封闭系统是更好选择，即使你可以定制开源系统，性能之间仍然存在一些差距，但现在我们不再看到这种情况。

现在，开源弥合这一差距。你会看到模型广泛扩散，人们现在有动力定制与构建，并训练适合他们需求的模型，将他们数据训练到模型中。

像 Amazon 通过 AWS ，或者 Databricks 这样公司，提供的一整套服务，用于蒸馏与微调开源模型。

我们与这些合作伙伴，进行很多特定工作以实现这一目标。

还会有像 Grok 这样公司，他们在超低延迟推理方面，做了非常有趣的工作。

我非常期待将其交到他们手中，他们正在为推出而构建一些东西，这也将实现这一点。

还有一整套企业公司，像 Dell 、 Scale.AI 、 Deloitte 、 Accenture ，他们与世界各地的企业合作进行技术部署。

这些公司会帮助构建定制模型，无论是大型企业、还是政府，很多公司希望拥有一个可以训练定制数据的模型。很多公司不想通过 API ，将他们数据发送到 Google 或 OpenAI 。不是这些公司有特别隐私问题，而是出于类似人们喜欢加密与 WhatsApp 的原因。

人们希望拥有设计上安全的架构，他们数据可以保存在他们自己手中，会有一个围绕这些构建的完整市场。

我对所有这些都感到非常兴奋，这次我们采取更积极的立场，帮助构建生态系统，这是它增长，并为每个人创造更大价值的方式。

Rowan Cheuang ： 这是一个大事。

你们是如何教育开发者使用这些工具？更广泛说， Meta 是否有计划或策略，来教育世界其他地方关于开源的重要性？

Mark Zuckerberg ： Llama-3.1 之前，我们做法主要是这样。 Meta 投资于此的根本原因，是我们希望确保我们可以获得领先的模型。

我们在移动互联网历史上的一些经验，我们不希望处于必须依赖某个竞争对手提供这种基础技术的地位，我们为自己构建了它。

Llama-3.1 之前，我们本能认为，如果我们将其开源，就会有一个社区围绕它成长，扩展能力，使其对包括我们在内每个人都更有价值。最终，这不仅是一项技术，它是一个生态系统。为了使它对我们来说成为一个有用的东西，必须有一个广泛的生态系统。

Llama-3.1 中，我们看到一个重大变化是，我们不仅是为自己构建它，然后将其发布给开发者使用，这次我们采取更加积极立场，建立合作伙伴关系，确保有一个公司生态系统可以用模型做有趣的事情，并以我们不会做的方式服务开发者。

我们不是公共云服务提供商，开发者市场不会来找我们构建他们的东西，我们希望确保所有这些公共云都能够很好进行这项工作。

这包括一些更基本功能，比如托管模型与提供推理服务。我们希望确保一些新功能可以实现，比如蒸馏与微调，这些在封闭模型中不太可能实现。我们必须与这些合作伙伴，进行特定的工作，来实现这一目标。也会有一些公司，如 Grok ，他们在超低延迟推理方面做了非常有趣的工作。

我对 AI 的担忧，不是苹果，而是其他公司，担心封闭生态系统的发展。某种程度上，我不是在说他们是坏人，而是这种系统的物理与激励结构，会推动你去限制某些事情。

如果生态系统像网络一样开发，更加强大，它会更健康。在移动互联网发展过程中，封闭模式获胜，苹果获得最多收益，可能有更多的安卓手机，但苹果几乎获取移动电话市场所有利润，这存在一定的近期偏见，这些是长期的周期。

iPhone 2007 年推出，我们已经接近 20 年，这是一个漫长的周期，人们很容易忘记封闭模式不总是获胜。

回到 PC 时代，尽管很多人，尤其是使用 Linux 类比的人，可能不认为 Windows 是完全开放的，但相比苹果将操作系统与设备捆绑的方式， Windows 的开放生态系统更胜一筹。

我希望是，下一代平台，包括 AI 与我们在增强与虚拟现实方面的工作， Meta 希望站在建立开放生态系统一边。我们不仅希望建立一个封闭生态系统的替代品，还希望恢复行业状态，使开放生态系统成为领导者。

这是可能的，我们在 AI 、 AR 、 VR 方面都在取得良好进展。这也是我个人与哲学上的关注点，我感受到的创造力限制，在过去 10 ～ 15 年间，是移动互联网封闭模式的发展。

我不想深入讨论这个点，这是一个重要的议题。我们现在有 Llama-3.1 的 4,050 亿参数模型，它在一些关键基准测试中与最好的封闭模型竞争，甚至超过一些封闭模型，这本身就很惊人。

Rowan Cheuang ： 你信中还提到， Llama-4 有望成为行业中最先进的模型，你对 Llama-4 有什么特别兴奋的地方？

Mark Zuckerberg ：我们刚发布 Llama-3.1 ，可能谈 Llama-4 为时过早。我们已经建立计算集群，准备大量数据，对架构有了一个大致概念，进行了大量研究实验来最大化性能。我认为 Llama-4 将是 Llama-3 的又一次大跃进，我们还有很多进展可以取得。

这是 Llama 首次发布，还有很多我想做的事情，包括推出多模态模型，我们在这一点上遇到一些不幸的挫折，我们将在未来几个月内推出它们，尤其是在欧盟以外地方。

现在谈 Llama-4 可能有点早，它肯定会很棒。管理公司时，计划计算集群与数据轨迹，不仅是针对 Llama-4 ，而是未来 4~5 个版本的 Llama ，这是件有趣的事情。

这些都是需要长期投资的事情，建设数据中心、配套电力、芯片架构、网络架构等。

这个回答可能有点含糊，只是表达了一些一般的兴奋。 Llama-3.1 至少应该有一周的时间，让我们消化一下发布的内容，再谈未来。

Rowan Cheuang ： 接下来几周将是疯狂的，只因为 Llama-3.1 的发布。听到 Meta 已经在为 Llama-4 做准备，仍然令人兴奋。这个方面，你能否多谈谈你对 AI 长期愿景，以及未来可能会发生的事情？

Mark Zuckerberg ： 我很高兴从技术与产品角度，来谈论这个问题，既然我们已经谈论很多模型方面内容，我就先从产品开始。

我们愿景是，应该有许多不同 AI 与 AI 服务，而不仅是单一的 AI ，这影响了我们开源方法，影响了我们产品路线图。

MetaAI 目前表现相当不错，我目标是在 2024 年底前，使它成为世界上使用最广泛的 AI 助手，我们很有希望在几个月内达到这一里程碑。

我们有能力与商业模式，来构建世界上最先进的模型，向所有人免费提供，这是一个巨大优势。

我们所有应用程序都非常容易使用，我对目前进展感到非常兴奋，这是我们所拥有的基本助手，这将是一件大事。

更重要的是，我们重点是让每个创作者与每个小企业，都能创建自己 AI Agent ，使每个人都能在我们平台创建他们想要的 AI Agent 。

如果你想想看，这些都是巨大市场。世界上有数亿小企业，非常重要的一点是，通过相对少量工作，一个企业可以通过几次点击，就能创建一个 AI Agent 来进行客户支持、销售，与所有客户沟通。

未来每个企业，都会像现在有电子邮件地址、网站、社交媒体一样，拥有一个他们客户可以交流的 AI Agent 。

我们希望为这些企业实现这一点，这将会是数亿甚至数十亿小企业的 Agent 。

对创作者来说，也是同样道理，我们平台上有超过 2 亿人自认为是创作者，他们主要利用我们平台来建立社区、发布内容，感觉这就像是他们工作的一部分。他们都有一个基本问题，就是一天时间不够用，无法与他们社区进行足够互动。

他们社区通常希望能有更多互动时间，时间总是不够用。这将是巨大突破，每个创作者，都可以从社交媒体获取所有信息，训练这些系统以反映他们价值观与业务目标，人们可以与之互动。这几乎就像是创作者创作的一个艺术品，人们可以不同方式与之互动。

还不包括所有其他人，将能够为自己创建不同 AI Agent 来做不同事情。我们将生活在拥有数亿、甚至数十亿不同 AI Agent 的世界里，可能最终 AI Agent 数量，会超过世界上的人口，人们将以各种不同方式与它们互动。这是产品愿景的一部分，有很多商业机会，这是我们希望赚钱的地方。

我们不会通过销售模型本身来赚钱，我们不是公共云公司。我们将通过构建最好的产品来赚钱，最好产品的重要组成部分是拥有最好模型，而围绕开源建立最好的生态系统，将帮助我们做到这一点。

这就是为什么所有这些，都对我们来说是一致的，也是为什么这对我们构建高质量产品，并取得最佳商业结果非常有价值，这也是为什么在哲学上是一致的。

我们不相信会有一个单一 AI 产品或模型，每个人都使用。我们根本上相信拥有多样化的模型集，每个企业与个人，都将希望拥有他们自己的东西，这将是非常有趣的，这也是让这个事情有趣的原因之一。

Rowan Cheuang ： 看到 Meta 将技术直接整合到产品中，向数十亿用户免费提供前沿 AI 模型，这是一个巨大的突破。在这个基础上，我有一个关于怀疑态度的最后一个问题。

20 世纪 90 年代，对互联网的怀疑态度无处不在，最终反对它变得几乎是不合理的。现在关于 AI 的怀疑态度，似乎也在经历类似轨迹。

你认为我们正处于这一早期阶段，会有一个时刻，反对 AI 的态度，会像今天反对互联网一样被视为不合理吗？你认为哪些因素，将是改变这种看法的关键？

Mark Zuckerberg ： 人们有不同方式，来担忧某件事。

我很清楚的是，互联网在成功之前，经历了一次大泡沫破灭，所有对互联网持长远观点的人最终都是对的，但有时候事情发展比你预期的要慢，你需要有信心坚持下去，这是我意识到的一点。

我对 Llama-3 ，以及 Llama-4 、 Llama-5 ，将带来的所有解锁，感到非常兴奋，这将转化为更好产品。

现实是，很难提前知道某件事什么时候足够好，可以让数十亿人使用，然后准备好成为一个大生意。

我们现在都在投入大量资本来训练这些模型，人们可能会在相当长一段时间内亏钱，我不知道，也许这一切会更快发生，这很难说。

你更关心的是，人们对其生计的担忧。这方面，这也是开源方法、许多不同的个性化与定制化模型的重要原因之一。

如果这一发展仅由少数公司构建产品，并从中受益，人们只使用这些产品，可能他们喜欢与 AI 助手交谈，这对他们有价值，但如果这没有在某种程度上帮助提升所有人生活水平，最终会出现反弹。

Web2.0 发展过程中，我花了一些时间思考，在 AI 、 AR 、 VR 等下一代技术中，如何不仅创建一个繁荣的产品集与经济生产力增长，还如何创建一个更好、更可持续的政治经济环境，让更多人感到他们从中受益，并支持这一系统。

我们在社交媒体方面做得相对不错，但从世界一些反馈与回应看，在 AI 与其他新技术方面，我们需要做得更好，以缓解人们对这些技术对他们生计、工作、生活影响的担忧。

开源大模型 Llama 3.1 震撼发布，真正全民 GPT-4 时代来了

时间： 2024 年 7 月 24 日

来源：智东西

字数： 2,655

Meta 宣布推出迄今为止最强大开源模型 Llama 3.1 405B ，发布全新升级的 Llama 3.1 70B 与 8B 模型。

Llama 3.1 405B, 支持上下文长度为 128K Tokens ，在基于 15 万亿个 Tokens 、超 1.6 万个 H100GPU 上进行训练，这是 Meta 有史以来第一个以这种规模进行训练的 Llama 模型。

研究人员基于超 150 个基准测试集的评测结果显示， Llama 3.1 405B, 可与 GPT-4o 、 Claude 3.5 Sonnet 、 Gemini Ultra 等业界头部模型媲美。

扎克伯格发文称，除了比闭源模型成本与性能更优， 405B 开源模型将成为企业微调与训练较小模型的最佳选择。 Meta AI 宣布接入 Llama 3.1 405B ，推出 AI 图片编辑、 AI 编程、 VR/AR 设备智能助手等新功能。扎克伯格预测， Meta AI 助手使用率，几个月后将超越 ChatGPT 。 Meta AI

Meta 开源生态圈已准备就绪。 Meta 与超过 25 个合作伙伴将提供 Llama 3.1 模型，包括亚马逊 AWS 、英伟达、 Databricks 、 Groq 、戴尔、微软 Azure 与谷歌云等。

迄今为止，所有 Llama 模型版本总下载量已经超过 3 亿次，与主流闭源模型能力相当的 Llama 3.1 模型发布，或许意味着， Meta 要讲的开源模型故事刚刚开始。

405B 开源模型对标 GPT-4o ， 25 家合作伙伴已就绪

Meta 评估了超 150 个基准数据集的性能， Llama 3.1 405B 在常识、可操作性、数学、工具使用与多语言翻译等一系列任务中，可与 GPT-4o 、 Claude 3.5 Sonnet 、 Gemini Ultra 相媲美。

现实场景中， Llama 3.1 405B 进行与人工评估的比较，总体表现优于 GPT-4o 、 Claude 3.5 Sonnet 。

升级后的 Llama 3.1 8B 与 70B 模型，相比同样参数大小的模型，性能表现更好，这些较小参数的模型，支持相同的 128K Tokens 上下文窗口、多语言、改进的推理与最先进的工具使用，以支持实现更高级应用。

Meta 更新了许可证，允许开发人员首次使用包括 405B 参数规模的 Llama 模型的输出来改进其他模型。

Meta 开源生态进一步扩张，有超过 25 个企业推出 Llama 3.1 新模型。

亚马逊 AWS 、 Databricks 、英伟达正在推出全套服务，以支持开发人员微调与训练自己模型。

AI 芯片创企 Groq 等，为 Meta 此次发布的所有新模型构建低延迟、低成本的推理服务。

这些模型将在亚马逊 AWS 、微软 Azure 、谷歌云、 Oracle 等主要云平台上提供服务。

ScaleAI 、戴尔、德勤等公司，已准备好帮助企业采用 Llama 模型，并使用自己数据训练定制模型。

Llama 3.1 405B 不仅是最强开源模型，还有望成为最强模型，开源与闭源的距离，再次大大缩短。

完整优化训练堆栈，专注于让模型可扩展

为了能基于 15 万亿个 Tokens 进行模型训练，同时在合理时间内实现研究人员想要的效果， Meta 对训练堆栈进行完整优化。

解决上述难题方面， Meta 选择专注于保持模型开发过程可扩展，并更直接的策略：

1 、研究人员选择标准仅解码器的 Transformer 模型架构进行小幅调整，而不是采用 MoE 混合专家模型，可以最大限度提高训练稳定性。

2 、研究人员采用迭代的后训练程序，每轮都使用监督微调与直接偏好优化。这使模型能够为每一轮创建最高质量的合成数据，提高每项能力的性能。

与此前 Llama 系列模型相比， Meta 改进用于训练前与训练后的数据数量与质量。这些改进，包括为训练前数据开发更仔细的预处理与管理 pipelines 、开发更严格的质量保证，训练后数据的过滤方法。

正如大语言模型的 Scaling Laws 所预期的那样， Meta 新旗舰模型优于使用相同策略训练的较小模型。 Meta 使用 405B 参数的模型，提高较小模型的训练质量。

为了支持 405B 参数模型的大规模推理，研究人员将模型从 BF16 到 FP8 进行量化，有效降低所需的计算要求，允许模型在单个服务器节点内运行。

在指令与聊天微调方面，研究人员通过在预训练模型之上进行几轮对齐以生成最终模型，每一轮都涉及监督微调 SFT 、拒绝采样 RS 、直接偏好优化 DPO ，使用合成数据生成，来生成绝大多数 SFT 示例，以生成所有功能中更高质量的合成数据。

Meta 采取多种数据处理技术，以将这些合成数据过滤到最高质量，这使新模型能够跨功能扩展微调数据量。

数据方面，研究人员对数据进行仔细平衡，以生成具有所有功能的高质量模型。

例如，在短上下文基准上保证模型质量，使其能扩展到 128K 上下文长度。

Meta 宣布推出一个整体的 Llama 系统。该系统除了涵盖 Llama 模型，还涉及多个组件协调、外部工具调用，以此助开发者开发比基础模型更强的定制产品。

Llama 系统，将涵盖一系列新组件，包括开源新的安全工具，如多语言安全模型 Llama Guard 3 与即时注入过滤器 Prompt Guard 。

为了让分散的组件联接起来， Meta 发布了对 Llama Stack API 的评论请求，这是一个标准接口，以此第三方项目更轻松利用 Llama 模型。

对普通开发者来说，使用 405B 规模的模型，仍是一项挑战，这需要大量计算资源与专业知识。

基于 Llama 系统，生成式 AI 开发，不仅是提示模型，每个人都应该可以利用 405B 模型完成更多任务，包括实时与批量推理、监督微调、针对特定应用评估模型、持续预训练、检索增强生成 RAG 、函数调用、合成数据生成等。

这是 Meta 迄今为止，推出的最大模型，未来将推出更多设备友好的尺寸、更多模式在 Agent 层面更新。

405B 大模型爆改， Meta AI Qu est 智能语音助手升级

现在， Meta 旗下多个终端，比如 WhatsApp 与 Meta AI 聊天机器人中都开始使用 Llama 3.1 405B 。

Meta AI 目前已支持 7 种新语言， Meta 本次推出一批新的 Meta AI 创意工具，主要聚焦视觉生成、数学与编码等领域。

首先视觉生成， Meta AI 推出 Imagine Me 想象我图像生成提示功能，支持用户在 Meta AI 聊天中输入想象我，并添加提示，例如想象我是皇室成员或想象我在一幅超现实主义绘画中，就可以生成图像，并与朋友、家人分享。

Meta AI 将上线 Edit With AI 使用 AI 编辑功能，用户可以通过点击鼠标轻松添加或删除对象，或更改与编辑它们，保持图像其余部分不变，比如将将猫改为柯基犬。

Meta AI 还将支持将新制作的图片，添加到 Facebook 帖子中，以及 Instagram 、 Messenger 、 WhatsApp 等社交平台上。

数学与编程方面，用户可以通过分步解释与反馈，获得数学作业方面帮助，通过调试支持与优化建议，更快编写代码，通过专家指导，掌握复杂技术与科学概念。

用户可以结合 Meta AI 编码专业知识与图像生成功能，从头开始构建新游戏或对经典游戏进行全新演绎。

只需几分钟，即可将奇思妙想变成现实，甚至让用户直接预览游戏。

Meta AI 适用于雷朋 Meta 智能眼镜，将于 2024 年 8 月，在美国与加拿大 Meta Quest 上以实验模式推出。

Meta AI 将取代 Quest 上当前语音命令，让用户可以免提控制耳机、获取问题的答案、随时了解实时信息、查看天气等。

用户可以将 Meta AI ，与在头显中看到的视图结合使用，比如询问在物理环境中看到的事物相关情况。

结语： Meta 再度落子大模型，开闭源之争生变

开闭源大模型之争仍在继续，从 Meta Llama 3.1 系列模型发布，开闭源大模型之间的差距正在缩小，大有齐头并进、互相赶超之势。

作为开源大模型阵营忠实拥趸者，也是技术创新先锋， Meta 从 Llama 系列模型发布之初，坚定打造自己开源生态圈。

相比此前 Llama 模型，此次新模型发布， Meta 将在内部组建团队，让尽可能多开发人员与合作伙伴使用 Llama 系列。

Meta 再度落子，使得开闭源模型之争的定论，更加扑朔迷离。

归根结底，实际应用中，很多企业与开发者，会根据具体需求与情况，选择使用开源或闭源模型，模型的具体能力、适用的真实场景等，需要时间证明。

六合年度报告全库会员，欢迎扫描识别下方图中二维码或点击文末“阅读原文”购买

智能时代专题，欢迎扫描识别下方图中二维码或点击文末“阅读原文”购买