专栏名称: 信息平权
理性 客观 朴素
目录
相关文章推荐
龙岩发布  ·  AI龙岩 | ... ·  8 小时前  
龙岩发布  ·  AI龙岩 | ... ·  8 小时前  
三门峡政务  ·  我市全力推进科教强市建设 ·  2 天前  
三门峡政务  ·  我市全力推进科教强市建设 ·  2 天前  
安徽商报  ·  安徽芜湖打造“智算之城” ·  3 天前  
51好读  ›  专栏  ›  信息平权

原来今天才是绝杀...

信息平权  · 公众号  · 科技创业 科技自媒体  · 2025-03-01 21:45

主要观点总结

本文介绍了DeepSeek发布的V3/R1推理系统的主要特点和意义。除了惊人的利润率外,该系统还具有低成本、高效率、规模效应明显等特点,引起了行业的广泛关注。

关键观点总结

关键观点1: DeepSeek V3/R1推理系统发布及特点

DeepSeek发布了V3/R1推理系统,具有惊人的利润率和低成本特点。通过高效的服务,为几千万DAU提供服务。

关键观点2: 低成本与需求满足的关系

系统的低成本与其需求完全拉满、集群满负荷、并发效率最高有关。用户数量增加会平抑成本,使得大厂如阿里等在推理集群系统成为底座时,成本优势更为明显。

关键观点3: 系统性能与隐藏数字

该系统日输出token总数为168B,每个节点的平均吞吐输出为特定数值。与英伟达其他产品相比,其性能表现突出。

关键观点4: 超节点的意义与实现

DeepSeek推理系统的灵魂在于专家并行,实现稀疏MoE专家并行的配置是40个节点320卡。全球已实现超节点如昇腾910C 384卡超节点等,这标志着推理行业的技术进步。

关键观点5: 对行业的影响及意义

DeepSeek的推理系统为行业提供了benchmark最高标准,并指明了实现路径和方法。这可能会引发新一轮的价格战,对同行意味着需要确认自身技术团队的水平以及存在的问题。


正文

今天DeepSeek发布V3/R1推理系统,除了惊人的545%利润率(换算成我们通常理解是 85%利润率 ),还告诉我们了什么?

1. 不到2000卡服务了几千万DAU ...首先这的确不是一个典型服务,官方版本到今天很多还是繁忙等待,用户体验一般般。和阿里字节这种toC to B(尤其未来的苹果服务),是要奔着 几倍的超额算力去满足各种约束条件 。但即便2000卡*2或者乘以5,用几千张H800就服务了几千万DAU、一天输入800B输出168B token,依然是远低于之前的想象...

2. 低成本另一个要素: 需求完全拉满,集群满负荷 ,并发效率最高,成本最低。 转群内季老师评价:这揭露了一个 残酷事实, MaaS以后就是赢者通吃 。用户数量有显著的正的外部性。你有100个客户的时候可能真要按照3倍5倍去准备算力,但是有10000个客户的时候就只需要按30%准备额外算力了。毕竟这么多用户会平抑波动。

而大厂如字节、阿里、腾讯,当推理集群系统成为to C to B所有业务的底座, 成本优势就是他们未来的产品优势, 且会愈加明显。今天阿里朋友们在群里举的例子,不仅阿里后面有 苹果 ,还有自己的 夸克 。而 豆包和元宝 的使命类似,规模越大,优势越大。 这比云计算时代的规模效应特征更加明显。

3. 几个隐藏数字,from 老罗的 暗中观察

1)日输出token总数为168B, 那么每个节点(8卡)的平均吞吐输出为168B/5442/3600= 8,575 t/s

而前几天英伟达自己公布的H200和B200推理r1吞吐如下(也是8卡HGX单节点)。因此这一套EP并行下来, 用阉割版了接近一半NVLINK带宽+接近一半的HBM的H800,反而实现了1.5倍于H200的性能...

2)Deepseek服务的平均输出速率为20~22tps, 那么我们可以轻松地算出平均的并发请求数为168B/24*3600/21=9.26万(每秒),并发数/DAU为0.386%


4. 到底需不需要超节点?

这次DeepSeek 推理的灵魂在EP专家并行 ,而实现稀疏MoE专家并行的官方最佳配置就是 40个节点320卡, 这种紧耦合的百卡大系统,相比过去单卡推理,性能数量级提升+成本数量级下降 。而除了NV有GB200这样的百卡超节点,全世界第二个实现的就是昇腾910C 384卡超节点...(且R1优化上上的通信问题,最近似乎已经解决了)


5. 对同行意味着什么?

Y博: 对于一个技术团队的中高层, 他最核心的价值就是两点1)知道团队做到什么水平才算完;2)团队如果不合格, 确认是什么具体环节的问题。DS这次等于给所有推理团队送了个首席技术官....

换句话说, 现在推理全行业知道了benchmark最高标准在哪儿了... 且告诉你了明确的路径和方法,很快会朝着这个目标继续努力。 之前以为16块钱是盈亏平衡线,现在告诉你是2块钱... 加完油吧各位。新一轮价格战已经在路上了。

另外,OpenAI的200美金/月天价订阅费,是不是有点尴尬...







请到「今天看啥」查看全文