专栏名称: AGI Hunt
关注AGI 的沿途风景!
目录
相关文章推荐
出彩写作  ·  deepseek推荐的材料校稿实用技巧 ·  昨天  
新北方  ·  本轮寒潮已结束,中到大雪要来了! ·  2 天前  
新北方  ·  男孩放鞭炮烧毁车辆,监护人负全责! ·  3 天前  
51好读  ›  专栏  ›  AGI Hunt

刚刚,Meta发布70B版Llama 3.3,性能匹敌405B巨兽!

AGI Hunt  · 公众号  ·  · 2024-12-07 19:21

正文

Meta 再放大招,Llama 3.3 70B模型横空出世!

这不是简单的升级,而是一次 彻底的革新

Meta官方声称,新发布的Llama 3.3 70B模型能够 媲美405B的庞然大物 ,但体积却小了近6倍!

这究竟是怎么做到的?

技术突破:小身材,大智慧

Llama 3.3采用了最新的后训练技术,包括 在线偏好优化 (online preference optimization)。

这使得模型在保持核心性能的同时, 大幅降低了运行成本

具体来说,Llama 3.3在多个基准测试中展现出惊人的实力:

  • MMLU(CoT):86.0

  • MMLU Pro(CoT):68.9

  • IFEval:92.1

  • HumanEval:88.4

  • MATH(CoT):77.0

特别值得一提的是,在代码生成方面,Llama 3.3 70B模型在HumanEval测试中达到了 88.4%的pass@1分数 ,这个成绩甚至超过了之前405B的版本!

多语言支持:不再局限于英语

Llama 3.3不仅在性能上有了飞跃,在语言支持方面也实现了突破。

官方宣布,该模型支持 英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语

这意味着Llama 3.3将能够服务更广泛的用户群体,为全球AI应用开发带来新的可能。

开放与限制并存

Meta采取了开放但有限制的策略。

Llama 3.3采用了名为「Llama 3.3 Community License Agreement」的自定义商业许可。

这意味着开发者可以更自由地使用这个模型,但同时也需要遵守一些规定。

值得注意的是,Meta特别强调: 如果你的月活用户超过7亿,就需要单独申请许可

这一规定显然是针对大型科技公司设置的门槛。

伦理与安全:Meta的自我约束

在发布如此强大的模型的同时,Meta也展现出了对AI伦理的重视。

他们制定了详细的「可接受使用政策」,明确禁止将Llama 3.3用于非法、有害或欺骗性目的。

这份政策涵盖了从非法活动、骚扰、歧视到故意误导等多个方面,展现了Meta在追求技术进步的同时,对社会责任的担当。

Llama 4 正在开发中

Vaibhav (VB) Srivastav 指出: Llama 3.3为指令版,Llama 4正在开发中。

  • Llama 3.3并非基础模型,而是Llama 3.1的指令版本。

  • 开发者表示对于不称其为「3.1-Instruct-New」版本感到满意。

  • Llama 4正在开发中,预计会带来新的功能和改进。







请到「今天看啥」查看全文