专栏名称: Dots机构投资者社区
机构投资者组成的社区,深度点评财经事件
目录
相关文章推荐
汇易咨询  ·  成本支撑边际增强与替代需求萎缩博弈加剧 ... ·  20 小时前  
北京吃货小分队  ·  北京「规模最大」新地标 · 终于开放了 ·  5 天前  
北京晚报  ·  北京这6名小孩哥,必须表扬! ·  3 天前  
51好读  ›  专栏  ›  Dots机构投资者社区

原来今天才是绝杀...

Dots机构投资者社区  · 公众号  ·  · 2025-03-03 08:15

正文

今天DeepSeek发布V3/R1推理系统,除了惊人的545%利润率(换算成我们通常理解是 85%利润率 ),还告诉我们了什么?

1. 不到2000卡服务了几千万DAU ...首先这的确不是一个典型服务,官方版本到今天很多还是繁忙等待,用户体验一般般。和阿里字节这种toC to B(尤其未来的苹果服务),是要奔着 几倍的超额算力去满足各种约束条件 。但即便2000卡*2或者乘以5,用几千张H800就服务了几千万DAU、一天输入800B输出168B token,依然是远低于之前的想象...

2. 低成本另一个要素: 需求完全拉满,集群满负荷 ,并发效率最高,成本最低。 转群内季老师评价:这揭露了一个 残酷事实, MaaS以后就是赢者通吃 。用户数量有显著的正的外部性。你有100个客户的时候可能真要按照3倍5倍去准备算力,但是有10000个客户的时候就只需要按30%准备额外算力了。毕竟这么多用户会平抑波动。

而大厂如字节、阿里、腾讯,当推理集群系统成为to C to B所有业务的底座, 成本优势就是他们未来的产品优势, 且会愈加明显。今天阿里朋友们在群里举的例子,不仅阿里后面有 苹果 ,还有自己的 夸克 。而 豆包和元宝 的使命类似,规模越大,优势越大。 这比云计算时代的规模效应特征更加明显。

3. 几个隐藏数字,from 老罗的 暗中观察

1)日输出token总数为168B, 那么每个节点(8卡)的平均吞吐输出为168B/5442/3600= 8,575 t/s

而前几天英伟达自己公布的H200和B200推理r1吞吐如下(也是8卡HGX单节点)。因此这一套EP并行下来, 用阉割版了接近一半NVLINK带宽+接近一半的HBM的H800,反而实现了1.5倍于H200的性能...

2)Deepseek服务的平均输出速率为20~22tps, 那么我们可以轻松地算出平均的并发请求数为168B/24*3600/21=9.26万(每秒),并发数/DAU为0.386%







请到「今天看啥」查看全文