DeepSeek全面开源V3/R1推理系统！成本利润率高达545%

Dots机构投资者社区 · 公众号 · · 2025-03-02 08:15

正文

本文转自微信公众号“新智元”，作者：新智元。

当大家以为开源周已经结束的时候，真「Open AI」DeepSeek带来了压轴大戏——DeepSeek-V3/R1推理系统，全面揭秘！

吞吐量和延迟优化：

在线服务性能数据：

DeepSeek表示，希望本周分享的技术见解能为开源社区带来价值，共同推进通用人工智能的发展目标。

看到这里，网友都惊了！

所以，基本免费的DeepSeek成本利润率高达545%，而堪称世界最贵的OpenAI却在亏损？

系统设计原则

简单来说，DeepSeek-V3/R1推理服务的优化目标是： 提高吞吐量和降低延迟。

为了实现这两个目标，团队采用了跨节点专家并行（Expert Parallelism，EP）技术。

首先，EP显著扩大了批处理规模，提高了GPU矩阵计算效率，从而提升吞吐量。

其次，EP将专家模块分布在不同GPU上，每个GPU仅处理少量专家模块（减少内存访问需求），从而降低延迟。

然而，EP也增加了系统复杂度，主要体现在两个方面：

为此，DeepSeek通过以下方式应对这些挑战：

DeepSeek-V3/R1中包含大量专家模块：每层256个专家中仅激活8个，所以模型的高稀疏性特点要求采用极大的整体批处理规模。

这样才能确保每个专家模块获得足够的批处理量，从而实现更高的吞吐量和更低的延迟。因此，大规模跨节点EP技术成为必不可少的选择。

DeepSeek采用了预填充-解码解耦架构（prefill-decode disaggregation architecture），在预填充和解码阶段分别采用不同程度的并行策略：

大规模跨节点EP技术引入了显著的通信开销。

为了缓解这一问题，采用dual-batch重叠策略，将同一批请求分割为两个microbatch，以隐藏通信成本并提高整体吞吐量。

在预填充阶段，两个microbatch交替执行，一个microbatch的通信开销被另一个microbatch的计算过程所掩盖。

在解码阶段，各执行阶段的时长存在不平衡现象。

为此，需要将注意力层细分为两个步骤，并采用五阶段流水线（5-stage pipeline）技术，实现计算与通信的无缝重叠。