Meta 再放大招,Llama 3.3 70B模型横空出世!
这不是简单的升级,而是一次
彻底的革新
。
Meta官方声称,新发布的Llama 3.3 70B模型能够
媲美405B的庞然大物
,但体积却小了近6倍!
这究竟是怎么做到的?
技术突破:小身材,大智慧
Llama 3.3采用了最新的后训练技术,包括
在线偏好优化
(online preference optimization)。
这使得模型在保持核心性能的同时,
大幅降低了运行成本
。
具体来说,Llama 3.3在多个基准测试中展现出惊人的实力:
-
MMLU(CoT):86.0
-
MMLU Pro(CoT):68.9
-
IFEval:92.1
-
HumanEval:88.4
-
MATH(CoT):77.0
特别值得一提的是,在代码生成方面,Llama 3.3 70B模型在HumanEval测试中达到了
88.4%的pass@1分数
,这个成绩甚至超过了之前405B的版本!
多语言支持:不再局限于英语
Llama 3.3不仅在性能上有了飞跃,在语言支持方面也实现了突破。
官方宣布,该模型支持
英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语
。
这意味着Llama 3.3将能够服务更广泛的用户群体,为全球AI应用开发带来新的可能。
开放与限制并存
Meta采取了开放但有限制的策略。
Llama 3.3采用了名为「Llama 3.3 Community License Agreement」的自定义商业许可。
这意味着开发者可以更自由地使用这个模型,但同时也需要遵守一些规定。
值得注意的是,Meta特别强调:
如果你的月活用户超过7亿,就需要单独申请许可
。
这一规定显然是针对大型科技公司设置的门槛。
伦理与安全:Meta的自我约束
在发布如此强大的模型的同时,Meta也展现出了对AI伦理的重视。
他们制定了详细的「可接受使用政策」,明确禁止将Llama 3.3用于非法、有害或欺骗性目的。
这份政策涵盖了从非法活动、骚扰、歧视到故意误导等多个方面,展现了Meta在追求技术进步的同时,对社会责任的担当。
Llama 4 正在开发中
Vaibhav (VB) Srivastav 指出:
Llama 3.3为指令版,Llama 4正在开发中。
-
Llama 3.3并非基础模型,而是Llama 3.1的指令版本。
-
开发者表示对于不称其为「3.1-Instruct-New」版本感到满意。
-
Llama 4正在开发中,预计会带来新的功能和改进。