专栏名称: 36氪
36氪是中国领先的新商业媒体,提供最新锐最具深度的商业报道。我们强调趋势与价值,我们的slogan是:让一部分人先看到未来。
目录
相关文章推荐
得物技术  ·  LSM-TREE从入门到入魔:从零开始实现一 ... ·  10 小时前  
得物技术  ·  LSM-TREE从入门到入魔:从零开始实现一 ... ·  10 小时前  
新浪科技  ·  【也有望推出Ultra?#小鹏申请注册P7U ... ·  15 小时前  
新浪科技  ·  【#特斯拉发布FSD使用说明##特斯拉FSD ... ·  3 天前  
51好读  ›  专栏  ›  36氪

DeepSeek公布成本、收入和利润率:最高可日赚346万

36氪  · 公众号  · 科技媒体  · 2025-03-03 17:03

正文

DeepSeek开源周彩蛋,直接亮底牌!
程茜
编辑 心缘
来源| 智东西(ID: zhidxcom
封面来源 视觉中国
智东西3月1日消息,DeepSeek的开源周竟然还有彩蛋!开源第六天,DeepSeek不仅放出了DeepSeek-V3/R1推理系统技术秘籍,还公开了每日成本和理论收入!
DeepSeek统计了2月27日24点到2月28日24点,计算出其每日总成本为 87072美元(折合人民币约63万元) 。如果所有Token都以DeepSeek-R1的价格计费,每日总收入将为 562027美元(折合人民币约409万元) ,成本利润率达到545%。也就是说,理论上DeepSeek每日净赚 474955美元(折合人民币约346万元)
但实际情况是,DeepSeek的收入大幅下降。由于DeepSeek-V3定价低于R1;网页端和应用程序免费,只有部分服务有收入;非高峰时段还有夜间折扣,使得其实际收入并没有这么高。
图片
此外,DeepSeek还公开了DeepSeek-V3/R1推理系统概述:为了达到推理更高的吞吐量和更低的延迟,研究人员采用了 跨节点的专家咨询(EP),并且利用EP增大batch size、将通信延迟隐藏在计算之后、执行负载均衡, 应对EP的系统复杂性挑战。
发布一小时,GitHub Star数已超过5600。
评论区的网友频频cue OpenAI,直呼“被抢劫”了!
图片
还有网友以OpenAI的定价帮DeepSeek算账:

图片

每日总成本为87072美元

利润率理论上最高545%

DeepSeek V3和R1的所有服务均使用H800 GPU,使用和训练一致的精度,即矩阵计算和dispatch传输采用和训练一致的FP8格式,core-attention计算和combine传输采用和训练一致的BF16,最大程度保证了服务效果。
此外,由于白天的高服务负载和晚上的低负载,DeepSeek在白天高峰时段跨所有节点部署推理服务。在低负载的夜间时段减少了推理节点,并将资源分配给研究和训练。
在过去的24小时内(2月27日24点到2月28日24点),V3和R1推理服务的合并峰值节点占用率达到278,平均占用率为226.75个节点(每个节点包含8个H800 GPU)。假设一个H800 GPU的租赁成本为每小时2美元,则 每日总成本为87072美元。

推理服务的H800节点计数

在24小时统计周期内(2月27日24点到2月28日24点),V3和R1:
总输入Token 608B,其中342B Token(56.3%)命中KVCache硬盘缓存。
总输出Token 168B,平均输出速度为每秒20-22 tps,每个输出Token的平均kvcache长度为4989个Token。
每个H800节点在prefill期间提供约73.7k token/s输入(包括缓存命中)的平均吞吐量,或在解码期间提供约14.8k token/s输出。
以上统计数据包括所有来自web、APP、API的用户请求。
如果所有Token都以DeepSeek-R1的价格计费, 每日总收入将为562027美元,成本利润率为545%。
*R1的定价:0.14美元输入Token(缓存命中),0.55美元输入令牌(缓存未命中),2.19美元输出令牌。
然而,DeepSeek的实际收入并没有这么多,其原因是DeepSeek-V3的定价明显低于R1;网页端和应用程序免费,所有只有一部分服务被货币化;夜间折扣在非高峰时段自动适用。
成本和理论收入

EP增加系统复杂性

三大策略应对

DeepSeek的解决方案采用了 跨节点的专家并行(EP)。
首先,EP显著扩展了批处理大小,增强了GPU矩阵计算效率并提高了吞吐量;其次,EP将专家分布在不同GPU上,每个GPU只处理专家的一小部分(减少内存访问需求),从而降低延迟。
然而,EP在两个方面增加了系统复杂性:EP引入跨节点的传输,为了优化吞吐,需要设计合适的计算流程使得传输和计算可以同步进行;EP涉及多个节点,因此天然需要Data Parallelism(DP),不同的DP之间需要进行负载均衡。
DeepSeek通过三种方式应对了这些挑战:
利用EP增大batch size、将通信延迟隐藏在计算之后、执行负载均衡。
1、大规模跨节点专家并行(EP)
由于DeepSeek-V3/R1的专家数量众多,并且每层256个专家中仅激活其中8个。模型的高度稀疏性决定了其必须采用很大的overall batch size,才能给每个专家提供足够的expert batch size,从而实现更大的吞吐、更低的延时。需要大规模跨节点专家并行(Expert Parallelism/EP)。
DeepSeek采用多机多卡间的专家并行策略来达到以下目的:
Prefill: 路由专家EP32、MLA和共享专家DP32,一个部署单元是4节点,32个冗余路由专家,每张卡9个路由专家和1个共享专家
Decode: 路由专家EP144、MLA和共享专家DP144,一个部署单元是18节点,32个冗余路由专家,每张卡2个路由专家和1个共享专家
2、计算-通信重叠
多机多卡的专家并行会引入比较大的通信开销,所以使用了双batch重叠来掩盖通信开销,提高整体吞吐。
对于prefill阶段,两个batch的计算和通信交错进行,一个batch在进行计算的时候可以去掩盖另一个batch的通信开销。

预充阶段的通信-计算重叠

对于decode阶段,不同阶段的执行时间有所差别,所以DeepSeek把attention部分拆成了两个stage,共计5个stage的流水线来实现计算和通信的重叠。

解码阶段的通信-计算重叠

3、实现最佳负载均衡






请到「今天看啥」查看全文