专栏名称: 我爱计算机视觉

关注计算机视觉与机器学习技术的最前沿，“有价值有深度”，分享开源技术与最新论文解读，传播CVML技术的业内最佳实践。www.52cv.net 微博:计算机视觉与机器学习，QQ群:928997753，52CV君个人账号：Your-Word。

顶尖性能，训练成本仅1/10！中国MoE一夜爆火！大模型新王暴打GPT-4o，训练成本仅600万美元

我爱计算机视觉 · 公众号 · · 2024-12-27 18:15

正文

关注公众号，发现CV技术之美

一夜之间，来自中国的大模型刷屏全网。

DeepSeek-V3，一个拥有671B参数的MoE模型，吞吐量每秒高达60 token，比上一代V2直接飙升3倍。

在多项基准测试中，V3性能直接与Claude 3.5 Sonnet、GPT-4o相匹敌。

在数学代码方面，DeepSeek-V3完全碾压GPT-4o。尤其是中文能力，全面领先国外的领先大模型。

就看这闪电般的推理速度，就知道模型有多强了。

值得一提的是，DeepSeek-V3在14.8T高质量token上完成了训练，模型和论文100%开源。

论文地址：https://github.com/deepseek-ai/DeepSeek-V3/blob/main/DeepSeek_V3.pdf

新模型惊艳出世，彻底掀翻了整个AI圈。业界多位AI大佬，纷纷对此表示震惊，将重点转向其训练成本GPU之上。

论文中，明确提出了DeepSeek-V3仅使用2048块GPU训练了2个月，并且只花费了557.6万美金。

Karpathy惊叹道，「作为参考，要达到这种级别的能力，通常需要约1.6万个GPU的计算集群。不仅如此，当前业界正在部署的集群规模甚至已经达到了10万个GPU。

比如，Llama 3 405B消耗了3080万GPU小时，而看起来更强大的DeepSeek-V3却只用了280万GPU小时（计算量减少了约11倍）。

到目前为止，模型在实际应用中的表现相当出色——不仅在LLM竞技场名列前茅，而且从Karpathy本人的快速测试来看，结果也都很不错。

这说明，即便是在资源受限情况下，模型也能展现出令人印象深刻的研究和工程能力。

这是否意味着前沿LLM不需要大型GPU集群？不是的，但这表明，你必须确保不浪费已有的资源，这个案例很好地证明了在数据和算法方面还有很大的优化空间」。

另外，贾扬清针对推理提出了几点自己的思考：

首先最重要的是，我们正式进入了分布式推理时代。一台单GPU机器（80×8=640G）的显存已经无法容纳所有参数。虽然更新大显存机器确实可以装下模型，但不论如何，都需要分布式推理来保证性能和未来扩展。
即使在单个模型中，也需要关注MoE的负载均衡，因为每次推理只有大约5%的参数激活。
论文中特别提到引入「redundantexpert」概念，正是为了解决这个问题。这已经不再是「一个模型多个副本」的问题、而是「每个模型子模块都有多个副本」，然后独立扩缩容。
输入token很容易实现盈利。根据个人专业判断，需要大量优化才能使输出token盈利或实现收支平衡。但如果我们相信「软件摩尔定律」，这就不是问题：每18个月单token成本减半。
需要进行分块（tile）或块（block）级别的量化。
等硬件支持FP4以后，肯定还有不少可以玩的花样冷知识：FP4乘法实际上就是个16×16的table lookup等等……