专栏名称: AI科技大本营
为AI领域从业者提供人工智能领域热点报道和海量重磅访谈;面向技术人员,提供AI技术领域前沿研究进展和技术成长路线;面向垂直企业,实现行业应用与技术创新的对接。全方位触及人工智能时代,连接AI技术的创造者和使用者。
目录
相关文章推荐
新闻株洲  ·  最新消息!补贴标准提高! ·  昨天  
湖南日报  ·  邓正安被查 ·  昨天  
新闻株洲  ·  今年,株洲境内将有2条新高速全线通车! ·  2 天前  
湖南日报  ·  凌晨四点的长沙,被这一幕暖哭了 ·  2 天前  
51好读  ›  专栏  ›  AI科技大本营

众神听令,王者归位!Meta重磅发布最强开源大模型 Llama 3

AI科技大本营  · 公众号  ·  · 2024-04-19 12:30

正文

整理 | 王轶群
责编 | 唐小引
出品丨AI 科技大本营(ID:rgznai100)

4月19日凌晨,Meta重磅发布了全球最大开源大模型Llama 3,一夜间重新坐稳王者之位。

模型下载链接: https://llama.meta.com/llama-downloa ds/

GitHub项目地址: https://github.com/meta-llama/llama3

当地时间4月18日,Meta 发布两款开源Llama 3 8B与Llama 3 70B模型,供外部开发者免费使用。 Meta表示,Llama 3 8B和Llama 3 70B是目前同体量下,性能最好的开源模型。

Meta 官方博客写道:“得益于预训练和后训练的改进,我们的预训练和指令微调模型是目前 8B 和 70B 参数尺度下最好的模型。”测试结果显示,Llama 3 8B在某些测试集上性能比 Llama 2 70B 还要强。

在Llama 3发布后,小扎向外媒表示,“我们的目标不是与开源模型竞争,而是要超过所有人,打造最领先的人工智能。”

圈内大佬齐喝彩!

Llama 3的发布,开启了一波梦幻联动。传奇研究员、AI开源倡导者吴恩达发帖表示,Meta在自己生日当天发布了Llama 3,这是最棒的生日礼物!谢谢Meta!

Meta 的首席AI科学家杨立昆也击鼓庆祝:

Meta生成式AI团队主管、苹果前高管艾哈迈德·阿尔·达勒(Ahmad Al-Dahle)发帖介绍:

此外,此前凭借1000行C语言代码、一台Mac就训练出GPT-2的AI大牛Karpathy也发帖祝贺:

昨夜,重磅发布的 Llama 3,让开源大模型圈内如此热闹,可谓一个不眠之夜。

被大佬们热捧的Llama 3的实力究竟如何?

最强开源大模型Llama 3

Llama 3的亮点和特性如下:

  • 基于超过15T token训练,大小相当于Llama 2数据集的7倍还多;

  • 训练效率比Llama 2高3倍;

  • 支持8K长文本,改进的tokenizer具有128K token的词汇量,可实现更好的性能;

  • 在大量重要基准测试中均具有最先进性能;

  • 增强推理和代码能力;

  • 安全性有重大突破,带有Llama Guard 2、Code Shield 和 CyberSec Eval 2的新版信任和安全工具,还能比Llama 2有更好“错误拒绝表现”。

根据Meta AI的工程师Aston Zhang透露,Llama 3的诞生始于去年夏天,团队攻克了数据集,预训练等方面的一系列难题。他还进一步透露,Llama 3之后还会解锁新的能力——更长的上下文,支持多模态,性能更强的400B版本。

Meta展示的基准测试结果包括MMLU、ARC、DROP、GPQA(生物、物理、化学相关的问题集)、HumanEval(代码生成测试)、GSM-8K(数学应用测试)、MATH(同为数学相关基准测试)、AGIEval(问题解决的测试集)以及BIG-Bench Hard(常识推理测试)。

如下图所示,Llama 3 8B的成绩在九项测试中领先同行。但Mistral 7B(2023年9月发布)和Gemma 7B已经不算最前沿的开源模型。并且在引用的一些基准测试里,Llama 3 8B的得分最高。

在MMLU、HumanEval和GSM-8K上,Llama 3 70B击败了Gemini 1.5 Pro。尽管无法与Anthropic性能最强的模型 Claude 3 Opus媲美,但 Llama 3 70B的性能,已经优于Claude 3系列的中等模型Sonnet。

Meta 还测试了 Llama 3 在真实世界场景中的性能,专门开发了一个新的高质量人类评估集,该评估集包含 1800 个提示,涵盖 12 种关键用例(征求建议、头脑风暴、分类、封闭式问题解答、编码、创意写作、提取、角色/人物角色、开放式问题解答、推理、改写和总结)。

在Meta组织的人类反馈评分中,Llama 3 70B打败了Mistral、OpenAI、Claude发布的对应产品。

小扎专门发了个视频介绍 Meta AI 和 Llama 3,他表示:

我们的目标是打造世界领先的人工智能。我们正在用最先进的新 Llama 3 Al 模型升级 Meta Al,该模型已开源。凭借这个新模型,我们相信 Meta Al 现在是最智能的人工智能助手。你可以自由使用。

我们将 Meta Al 集成到顶部的搜索框中,使其更易于使用WhatsApp、Instagram、Facebook 和 Messenger。我们还建立了一个网站,meta.ai,供你在网络上使用。

我们还构建了一些独特的创作功能,例如将照片制作成动画的功能。现在AI生成高质量图像的速度非常快,可以根据你的需要实时创建和更新它们,它还将生成你的创作过程的回放视频。

享受 Meta Al,让我知道你的想法!

Meta AI 项目地址: https://ai.meta.com/blog/meta-llama-3/

目前,HuggingChat也已开放体验,需要手动切换至Llama 3。

Hugging Face 地址: https://huggingface.co/chat/

不止如此,还有王炸

不仅如此,在未来几个月内,Meta还会推出更多的版本。

Meta 官方表示,Llama 3 8B 和 70B 模型只是 Llama 3 系列模型的一部分,他们后续还将推出更多版本,包括模型参数超过 400B 的 Llama 3 版本(目前仍在训练中)。







请到「今天看啥」查看全文