专栏名称: 深度学习与图网络
关注图网络、图表示学习,最近顶会顶刊动态以及机器学习基本方法,包括无监督学习、半监督学习、弱监督学习、元学习等
目录
相关文章推荐
营养师顾中一  ·  这种让你噗噗噗「姜」,一次别吃太多! ·  10 小时前  
丁香医生  ·  多出汗,身体能排毒吗? ·  昨天  
丁香生活研究所  ·  劝你吃蓝莓的理由,一个就够了! ·  2 天前  
丁香医生  ·  30 个让你睡不好的习惯,测测你有哪些? ·  2 天前  
51好读  ›  专栏  ›  深度学习与图网络

Meta Llama 3.1 405B 正式发布

深度学习与图网络  · 公众号  ·  · 2024-07-24 14:39

正文

机器之心报道

编辑:亚鹂、大盘鸡、杜伟

开源与闭源的纷争已久,现在或许已经达到了一个新的高潮。


说到开源大模型,Llama 系列自诞生以来就是典型代表,其优秀的性能与开源特点让人工智能技术的应用性和可访问性大大提升。任何研究人员和开发者都能够从中获益,让研究和应用变得更加广泛。


现在,Meta Llama 3.1 405B 正式发布。 在官方博客中,Meta 表示:「直到今天,开源大语言模型在功能和性能方面大多落后于封闭模型。现在,我们正在迎来一个开源引领的新时代。」



与此同时,Meta 创始人、CEO 扎克伯格亲自撰写长文阐述开源对所有开发者、对 Meta、对世界的意义。他表示,开源是 AI 积极发展的必要条件。以 Unix 和 Linux 的发展为例,开源 AI 将更有利于创新、数据保护和成本效益。


他还认为,开源 Llama 模型能够建立一个完整的生态系统,确保技术进步,并且不会因为竞争而失去优势。Meta 有着成功的开源历史,通过开源 AI 模型,扎克伯格希望促进全球技术的平等和安全应用。



原文链接:https://about.fb.com/news/2024/07/open-source-ai-is-the-path-forward/


以下是原文内容:


扎克伯克为 Meta 注入开源基因


在高性能计算的早期,各大主流科技公司都投入大量资金开发各自的闭源 Unix 版本。当时很难想象会有其他方法能开发出如此先进的软件。


然而,开源的 Linux 逐渐流行起来:最初是因为它允许开发人员自由修改代码且价格更实惠,而后来它变得更先进、更安全,并且拥有比任何闭源 Unix 更广泛的生态系统,支持更多的功能。今天,Linux 已成为云计算和运行大多数移动设备的操作系统的行业标准基础, 大家都因其卓越的产品受益。


我相信人工智能的发展也与其发展轨迹类似。 今天,一些科技公司正在开发领先的闭源模型,但开源正在迅速缩小差距。


去年,Llama 2 仅能与一代旧型号相媲美。而在今年,Llama 3 在某些领域已经可以与行业中领先的模型竞争甚至领先。明年开始,我们预计未来的 Llama 模型将成为行业中最先进的大模型。在此之前,Llama 也已经在开放性、可修改性和成本效益方面领先。


今天,我们正迈出下一步 —— 使开源 AI 成为行业标准。 我们发布了首个前沿级开源 AI 模型 Llama 3.1 405B,以及改进版的 Llama 3.1 70B 和 8B 模型。较于闭源模型,这些开源模型在成本效益上显著提升,特别是 405B 模型的开源特性,使其成为微调和蒸馏小型模型的最佳选择。


除了发布这些模型,我们还与多家公司合作,拓展更广泛的生态系统。亚马逊、Databricks 和英伟达正在推出全套服务,支持开发者微调和蒸馏他们自己的模型。像 Groq 这样的创新者已经为所有新模型构建了低延迟、低成本的推理服务。


这些模型将在包括 AWS、Azure、Google、Oracle 等所有主要云平台上可用。Scale.AI、戴尔、德勤等公司已经准备好帮助企业采用 Llama 并使用他们自己的数据训练定制模型。随着社区的成长和更多公司开发新服务,我们可以共同使 Llama 成为行业标准,并将 AI 的益处带给每个人。


Meta 致力于开源 AI,以下是我认为开源是最佳开发平台的原因,为什么开源 Llama 对 Meta 有利,以及为什么开源 AI 对世界有益,并由此将长期存在。


开源 AI 之于开发者


当我与全球的开发者、CEO 和政府官员交谈时,通常听到几个主题:


  • 我们需要训练、微调和蒸馏自己的模型。 每个组织都有不同的需求,这些需求最好通过使用不同规模并使用特定数据训练或微调的模型来满足。设备上的任务和分类任务需要小型模型,而更复杂的任务则需要大型模型。现在,你可以使用最先进的 Llama 模型,继续用自己的数据训练它们,然后将它们蒸馏成最适合你需求的模型规模 —— 无需我们或任何其他人看到你的数据。

  • 我们需要掌控自己的命运,而不是被闭源供应商「锁死」。 许多组织不希望依赖他们无法自己运行和控制的模型。他们不希望闭源模型供应商能够更改模型、改变使用条款,甚至完全停止服务。他们也不希望被锁定在拥有模型专有权的单一云平台上。开源使得兼容工具链的广泛生态系统成为可能,你可以轻松地在这些工具之间切换。

  • 我们需要保护我们的数据。 许多组织处理需要保护的敏感数据,无法通过云 API 发送到闭源模型。一些组织则根本不信任闭源模型供应商对其数据的处理。开源解决了这些问题,因为它使你可以在任何你想要的地方运行模型。众所周知,开源软件会因为开发过程更加透明,而更安全。

  • 我们需要一个高效且经济的模型。 开发者可以在自己的基础设施上运行 Llama 3.1 405B,进行推理,成本大约是使用闭源模型(如 GPT-4)的 50%,适用于用户端和离线推理任务。

  • 我们希望投资于将成为长期标准的生态系统。 许多人看到开源的发展速度快于封闭模型,他们希望在能够长期提供最大优势的架构上构建自己的系统。


开源 AI 之于 Meta


Meta 的商业模式是为人们构建最佳体验和服务。为了实现这一目标,我们必须确保始终能够获取最佳技术,而不是被锁定在竞争对手的封闭生态系统中,这样他们就不能限制我们所开发的内容。


我想分享一个重要经历:虽然苹果公司允许我们在其平台上构建内容,但是当我们构建服务时仍受到了限制。无论是他们对开发者的税收、他们施加的任意规则,还是他们阻止的所有产品创新,显而易见,如果我们能够构建产品的最佳版本,并且竞争对手无法限制我们构建的内容,Meta 和许多其他公司将能够为人们提供更好的服务。从哲学层面上讲,这也是我如此坚信在 AI 和 AR/VR 领域为下一代计算机建立开放生态系统的一个重要原因。


人们常常问我是否担心因为开源 Llama 而失去技术优势,但我认为这忽略了大局,原因有以下几点:


首先,为了确保我们能够长期保持技术领先,并且不被锁定在闭源生态系统中,Llama 需要发展成一个完整的生态系统,包括工具、效率改进、硬件优化和其他集成。如果只有我们公司使用 Llama,这个生态系统将不会发展,我们的境况也不会比 Unix 的闭源变种好多少。


其次,我预计 AI 开发将继续保持高度竞争,这意味着在任何给定时刻,开源某个模型不会使我们在与下一个最佳模型的竞争中失去巨大优势。 Llama 成为行业标准的途径是通过一代又一代地保持竞争力、高效性和开放性。


第三,Meta 与闭源模型提供商的一个关键区别在于,销售 AI 模型的访问权限并不是我们的商业模式。这意味着公开发布 Llama 不会削弱我们的收入、可持续性或投资研究的能力,而闭源提供商则会受到影响。(这也是为什么一些闭源提供商一直在游说公共管理者反对开源的原因之一。)


最后,Meta 在开源项目上有着丰富的成功经验。通过与开放计算项目分享我们的服务器、网络和数据中心设计,并使供应链标准化,我们节省了数十亿美元。通过开源 PyTorch、React 等领先工具,我们从生态系统的创新中受益匪浅。这种方法长期以来一直极具效果。


开源 AI 之于世界


我相信开源对于 AI 的未来是有必要的。AI 比任何其他 现代技术都更有潜力提高人类的生产力、创造力和生活质量,并且能够在加速经济增长的同时推动医学和科学研究的进步。 开源将确保全球更多的人能够从 AI 的发展中获得利益和机会,权力不会集中在少数几家公司手中,并且技术能够更均匀和安全地在社会中部署。


关于开源 AI 模型的安全性,存在着持续的争论。我的观点是,开源 AI 将比替代方案更安全。我认为各国政府最终会得出支持开源的结论,因为这将使世界更加繁荣和安全。


在我 理解的安全性框架中,我们需要防范两类危害:无意和故意。


  • 无意的 危害是指 AI 系统可能在运行时非故意地造成伤害。例如,现代 AI 模型可能在无意中 给出错误的健康建议。或者,在未来场景中,有人担心模型可能会无意中自我复制或过度优化目标,从而对人类造成损害。







请到「今天看啥」查看全文