专栏名称: 机器学习研究组订阅

连接人工智能技术人才和产业人才的交流平台

DeepSeek突围奥秘曝光，一招MLA让全世界抄作业！150+天才集结，开出千万年薪

机器学习研究组订阅 · 公众号 · AI · 2025-02-01 18:49

正文

DeepSeek这波强攻，彻底把OpenAI逼急了——深夜紧急上线o3-mini。

整整半个月，中国AI承包了国内外各大头条，影响力只增不减。

关于DeepSeek模型训练数据、GPU用量、成员构成、RL训练算法，早已成为所有人的关注焦点。

SemiAnalysis一篇深度报道中，从多个方面进行了推测——训练成本、对闭源模型利润影响、团队等等。

其中一些关键亮点包括：

DeepSeek不是「副业」，在GPU等硬件支出远超5亿美元，论文中600万美元仅是预训练运行GPU成本，研发、硬件总拥有成本（TCO）被排除在外
DeepSeek大约有5万块Hopper GPU，包括特供版H800和H20
DeepSeek大约有150名员工，并定期从北大、浙大等招募顶尖人才，据称有潜力的候选人能拿到超130万美元（934万元）薪水
DeepSeek一个关键创新——多头潜注意力（MLA），耗时多月开发，将每个查询KV量减少93.3%，显著降低推理价格
o3性能远超R1和o1，谷歌Gemini 2.0 Flash Thinking与R1不相上下
V3和R1发布后，H100价格猛涨，杰文斯悖论（Jevonʼs Paradox）正发挥作用

5万块Hopper GPU，投资超5亿美金

DeepSeek背后顶级投资者幻方量化（High-Flyer），很早就洞察到了AI在金融领域之外的巨大潜力，以及规模化部署的关键重要性。

基于这一认知，他们持续扩大 GPU 投资规模。

在使用数千个GPU集群进行模型实验后，幻方在2021年投资购入了10,000块A100，这一决策最终证明是极具前瞻性的。

随着业务发展，他们在2023年5月决定分拆成立「DeepSeek」，以更专注地推进AI技术发展。由于当时外部投资者对AI领域持谨慎态度，幻方选择自行提供资金支持。

目前，两家公司在人力资源和计算资源方面保持密切合作。

与媒体将其描述为「副业项目」不同，DeepSeek已发展成为一个严肃且协调有序的重要项目。即使考虑到出口管制的影响，高级分析师估计他们在GPU方面的投资规模已超5亿美元。

据SemiAnalysis评估，他们拥有约50,000块Hopper架构GPU，这些计算资源在幻方和DeepSeek之间共享使用，并在地理位置上进行了分散部署，用于交易、推理、训练和研究等多个领域。

根据分析，DeepSeek在服务器方面的资本支出总额约为16亿美元，而运营这些计算集群的成本高达9.44亿美元。

150+顶尖人才，年薪934万

在人才战略方面，DeepSeek专注于招募中国本土人才，不过分看重候选人的过往履历，而是更注重其实际能力和求知欲望。

他们经常在北京大学和浙江大学等顶尖高校举办招聘活动，现有员工中很多都来自这些学校。

公司的职位设置非常灵活，不会过分限定岗位职责，招聘广告甚至强调可以自由使用数万个GPU资源。

他们提供极具竞争力的薪酬待遇，据报道为优秀候选人提供的年薪可达130万美元以上，远超其他科技巨头和AI实验室的水平。

目前公司约有150名员工，并保持快速扩张态势。

历史经验表明，资金充足且目标明确的创业公司，往往能够突破现有技术边界。

与谷歌等大公司的繁琐决策流程相比，DeepSeek 凭借自主融资的优势，能够更快速地将创新理念付诸实践。

有趣的是，DeepSeek在运营模式上却与谷歌相似，主要依靠自建数据中心而非外部服务提供商。

这种模式为技术创新提供了更大的实验空间，使他们能够在整个技术栈上进行深度创新。

在SemiAnalysis看来，DeepSeek已经成为当今最优秀的「开源权重」（open weights）实验室，其成就超越了Meta Llama、Mistral等竞争对手。

训练成本不止600万美金

DeepSeek的定价策略和运营效率在本周引发了广泛关注，特别是有关DeepSeek V3训练成本「600万美元」的报道。

但事实上，预训练成本仅是整体投入中的一小部分。

训练成本解析

高级分析师认为，预训练阶段的支出远不能代表模型的实际总投入。

据他们评估，DeepSeek在硬件方面的累计投资已远超5亿美元。在开发新架构的过程中，需要投入大量资源用于测试新理念、验证新架构设计和进行消融实验（ablation studies）。

比如，作为DeepSeek重要技术突破的多头潜注意力机制（Multi-Head Latent Attention），其开发周期就长达数月，消耗了大量的人力资源和计算资源。

论文中，提到的600万美元仅指预训练阶段的GPU直接成本，这只是模型总成本的一个组成部分。

其中并未包含研发投入、硬件设施的总拥有成本（TCO）等关键要素。

举例来说，Claude 3.5 Sonnet训练成本就达到了数千万美元。

如果这就是Anthropic所需的全部投入，他们就不会从谷歌筹集数十亿美元，更不会从亚马逊获得数百亿美元的投资。

这是因为他们需要持续投入实验研究、架构创新、数据采集与清洗、人才招募等多个方面。

算法优化，让性能差距缩小

V3无疑是一个令人瞩目的模型，但需要在合适的参照系下评估其成就。

许多分析将V3与GPT-4o进行对比，强调V3超越了后者的性能。这个结论虽然正确，但需要注意GPT-4o是在2024年5月发布的。

在AI快速迭代的背景下，半年前的技术水平已显得相对陈旧。

此外，随着时间推移，用更少的计算资源实现相当或更强的性能，也符合行业发展规律。推理成本的持续下降正是AI进步的重要标志。

一个典型的例子是，现在可以在普通笔记本电脑上运行的小型模型，已能达到与GPT-3相当的性能水平，而后者在发布时需要超级计算机进行训练，且推理阶段也需要多个GPU支持。

换言之，算法的持续优化使得训练和推理同等性能的模型，所需的计算资源不断减少，这种趋势在行业内屡见不鲜。

目前的发展趋势表明，AI实验室在绝对投入增加的同时，单位投入所能获得的智能水平提升更为显著。

据估计，算法效率每年提升约4倍，这意味着实现相同性能所需的计算资源每年减少75%。

Anthropic CEO Dario的观点更为乐观，认为算法优化可以带来10倍的效率提升。

就GPT-3级别的模型推理成本而言，已暴降1200倍。

在分析GPT-4成本演变时，高级分析师还观察到类似的下降趋势，尽管仍处于成本优化曲线的早期阶段。

与前述分析不同的是，这里的成本差异反映了性能提升和效率优化的综合效果，而非保持性能不变的单纯比较。

在这种情况下，算法改进和优化措施共同带来了约10倍的成本降低和性能提升。

值得强调的是，DeepSeek独特之处在于他们率先实现了这一成本和性能的突破。

虽然开源模型权重的做法，此前已有Mistral和Llama等先例，但DeepSeek的成就仍然显著。

考虑到行业发展趋势，到今年年底，相关成本可能还会进一步下降5倍左右。

R1与o1打平手，「推理」新范式

另一个引人关注的问题是，R1能够达到与o1相当的性能水平，而o1仅在去年9月才发布。

那么，DeepSeek是如何能在如此短的时间内，实现这一跨越的？

其关键在于，「推理」这一新范式的出现。

与传统范式相比，推理范式具有更快的迭代速度，且能以较少的计算资源获得显著收益。

正如SemiAnalysis在scaling law报告中指出的，传统范式主要依赖预训练，这种方式不仅成本越来越高，而且越来越难以实现稳定的性能提升。

新的推理范式，主要通过合成数据生成和在现有模型基础上进行后训练强化学习来提升推理能力，这使得以更低成本获得快速进展成为可能。

随着业界逐步掌握这一新范式的扩展技巧，高级分析师预计不同模型之间在能力匹配上的时间差距可能会进一步拉大。

虽然R1在推理性能上确实达到了相当水平，但它并非在所有评估指标上都占据优势，在许多场景下其表现甚至不如 o1。

OpenAI最近发布的o3测试结果显示，其性能提升几乎呈现垂直上升趋势。

这似乎印证了「深度学习遇到了瓶颈」的说法，只是这个瓶颈的性质与以往不同。

谷歌推理模型，实力相当

在R1引发广泛关注的同时，一个重要事实往往被忽视：谷歌在一个月前就推出了一款更具性价比的推理模型——Gemini Flash 2.0 Thinking。

这个模型不仅可以直接使用，而且通过 API 提供了更长的上下文长度。

在已公布的基准测试中，Flash 2.0 Thinking表现优于 R1，尽管基准测试并不能完全反映模型的真实能力。谷歌仅公布了3项基准测试结果，这显然不足以提供完整的对比。

即便如此，分析师认为谷歌的模型具有很强的稳定性，在多个方面都能与R1分庭抗礼，只是没有获得应有的关注度。

这可能部分源于谷歌欠佳的市场策略和用户体验，也与出乎意料的竞争者R1的到来有关。

需要强调的是，这些比较并不会削弱DeepSeek的突出成就。

正是凭借快速行动、充足资金、卓越智慧和明确目标的创业公司特质，DeepSeek才能在推理模型的竞争中超越Meta这样的科技巨头。

中国MLA创新，让全世界抄作业

接下来，让我深入扒一扒DeepSeek所取得的领先实验室尚未实现的技术突破。

SemiAnalysis高级分析师预计，DeepSeek发布的任何技术改进，都会被西方实验室迅速复制。

那么，这些突破性进展是什么？

实际上，主要的架构创新与V3模型密切相关，该模型也是R1的基础模型。

训练（前期和后期）

不是「下一个token预测」，而是「多token预测」

DeepSeek V3以前所未见的规模实现了多Token预测（MTP）技术，这些新增的注意力模块可以预测接下来的多个 Token，而不是传统的单个Token。

这显著提高了训练阶段的模型性能，且这些模块可以在推理阶段移除。

这是一个典型的算法创新案例，实现了在更低计算资源消耗下的性能提升。

其他方面，虽然DeepSeek在训练中采用了FP8精度，但像全球一些顶尖的实验室已经采用这项技术相当长时间了。

DeepSeek V3采用了我们常见的「混合专家模型」（MoE）架构，个由多个专门处理不同任务的小型专家模型组成的大模型，展现出强大的涌现能力。

MoE模型面临的主要挑战是，如何确定将哪个Token分配给哪个子模型（即「专家」）。

DeepSeek创新性地采用了一个「门控网络」（gating network），能够高效且平衡地将Token路由到相应的专家，同时保持模型性能不受影响。

这意味着路由过程非常高效，在训练过程中每个Token只需要调整小量参数（相较于模型整体规模）。

这既提高了训练效率，又降低了推理成本。

尽管有人担心MoE带来的效率提升，可能降低投资意愿，但Dario指出，更强大的AI模型带来的经济效益非常可观，任何节省的成本都会立即被投入到开发更大规模的模型中。

因此，MoE效率提升不会减少总体投资，反而会加速AI规模化进程。

当前，包括OpenAI、谷歌、Anthropic等一些公司正专注于扩大模型的计算规模，并提高算法效率。

V3打好了基础，RL立大功

对于R1而言，它极大地受益于其强大的基础模型——V3，这在很大程度上要归功于强化学习（RL）。

RL主要关注两个方面：格式化（确保输出连贯性）以及有用性与安全性（确保模型实用且无害）。

模型的推理能力，是在对合成数据集进行微调过程中自然涌现的，这与o1的情况类似。

值得注意的是，R1论文中并没有提及具体的计算量，因为披露使用的计算资源，会暴露DeepSeek实际拥有的GPU数量远超过其对外宣称的规模。

这种规模的强化学习需要庞大的计算资源，特别是在生成合成数据时。

谈到蒸馏，R1论文最引人注目的发现可能是，通过具有推理能力的模型输出来微调较小的非推理模型，使其获得推理能力。

数据集包含了约80万个样本，现在研究人员可以利用R1的思维链（CoT）输出创建自己的数据集，并借此开发具有推理能力的模型。

未来，我们可能会看到更多小模型展现出推理能力，从而提升小模型的整体性能。

多头潜注意力（MLA）

如开头所述，MLA是一项重要的技术创新，它显著降低了DeepSeek模型推理成本。

与标准注意力机制相比，MLA将每次查询所需的KV缓存减少了约93.3%（KV缓存是Transforme模型中的一种内存机制，用于存储表示对话上下文的数据，从而减少不必要的计算开销）。

KV缓存会随着对话上下文的增长而不断扩大，这会造成显著的内存限制。

通过大幅减少每次查询所需的KV缓存量，可以相应减少每次查询所需的硬件资源，从而降低运营成本。

MLA这项创新，特别引起了许多美国顶级实验室的关注。实际上，MLA首次在2024年5月发布的DeepSeek V2中就已推出。

此外，由于H20芯片比H100具有更高的内存带宽和容量，DeepSeek在推理工作负载方面获得了更多效率提升。

R1并非真正动摇o1技术优势

在利润率方面，SemiAnalysis发现了一个关键现象：R1并非真正动摇了o1的技术优势，而是以显著更低的成本实现了相似的性能水平。

这种现象本质上符合市场逻辑，接下来高级分析师将提出一个框架，来分析未来价格机制的运作方式。

技术能力的提升往往能带来更高的利润率。

这种情况与半导体制造业的发展模式极其相似，只是节奏更快。就像台积电每当率先突破新制程时，都能获得显著的定价优势，因为他们提供了此前市场上不存在的产品。

其他落后的竞争对手（如三星、英特尔）则会采取较低的定价策略，以在性价比上达到平衡。