小扎自曝砸重金训Llama 4，24万块GPU齐发力！预计2025年发布

Llama 3.1刚发布不久，Llama 4已完全投入训练中。

这几天，小扎在二季度财报会上称，Meta将用Llama 3的十倍计算量，训练下一代多模态Llama 4，预计在2025年发布。

这笔账单，老黄又成为最大赢家

十倍计算量，是什么概念？

要知道，Llama 3是在两个拥有24,000块GPU集群完成训练。也就是说，Llama 4训练要用24万块GPU。

那么，Meta存货还够不够？

还记得小扎曾在年初宣布，计划到年底要部署35万块英伟达H100。

他还透露了更多的细节，Meta内部将为训练LLM打造两个单集群，一个配备22,000块H100，另一个集群配备24,000块。

有网友曾回顾了Llama模型迭代过程中，GPU的用量如何增长的：

Llama 1：2048块GPU

Llama 2：4096块GPU

Llama 3.1：16384块GPU

可见，训练大模型是一项代价高昂的业务。

财报显示，Meta第二季度在服务器、数据中心和网络基础设施上，资本支出增长了近33%。

从去年同期64亿美元，增至85亿美元。

现在，预计年度支出将达到370亿-400亿美元，高于之前预估的350亿-400亿美元。