本文介绍了DeepSeek发布的V3/R1推理系统的主要特点和意义。除了惊人的利润率外,该系统还具有低成本、高效率、规模效应明显等特点,引起了行业的广泛关注。
DeepSeek发布了V3/R1推理系统,具有惊人的利润率和低成本特点。通过高效的服务,为几千万DAU提供服务。
系统的低成本与其需求完全拉满、集群满负荷、并发效率最高有关。用户数量增加会平抑成本,使得大厂如阿里等在推理集群系统成为底座时,成本优势更为明显。
该系统日输出token总数为168B,每个节点的平均吞吐输出为特定数值。与英伟达其他产品相比,其性能表现突出。
DeepSeek推理系统的灵魂在于专家并行,实现稀疏MoE专家并行的配置是40个节点320卡。全球已实现超节点如昇腾910C 384卡超节点等,这标志着推理行业的技术进步。
DeepSeek的推理系统为行业提供了benchmark最高标准,并指明了实现路径和方法。这可能会引发新一轮的价格战,对同行意味着需要确认自身技术团队的水平以及存在的问题。
今天DeepSeek发布V3/R1推理系统,除了惊人的545%利润率(换算成我们通常理解是
85%利润率
),还告诉我们了什么?
1.
不到2000卡服务了几千万DAU
...首先这的确不是一个典型服务,官方版本到今天很多还是繁忙等待,用户体验一般般。和阿里字节这种toC to B(尤其未来的苹果服务),是要奔着
几倍的超额算力去满足各种约束条件
。但即便2000卡*2或者乘以5,用几千张H800就服务了几千万DAU、一天输入800B输出168B token,依然是远低于之前的想象...
2. 低成本另一个要素:
需求完全拉满,集群满负荷
,并发效率最高,成本最低。
转群内季老师评价:这揭露了一个
残酷事实,
MaaS以后就是赢者通吃
。用户数量有显著的正的外部性。你有100个客户的时候可能真要按照3倍5倍去准备算力,但是有10000个客户的时候就只需要按30%准备额外算力了。毕竟这么多用户会平抑波动。
而大厂如字节、阿里、腾讯,当推理集群系统成为to C to B所有业务的底座,
成本优势就是他们未来的产品优势,
且会愈加明显。今天阿里朋友们在群里举的例子,不仅阿里后面有
苹果
,还有自己的
夸克
。而
豆包和元宝
的使命类似,规模越大,优势越大。
这比云计算时代的规模效应特征更加明显。
3. 几个隐藏数字,from 老罗的
暗中观察
1)日输出token总数为168B,
那么每个节点(8卡)的平均吞吐输出为168B/5442/3600=
8,575 t/s
而前几天英伟达自己公布的H200和B200推理r1吞吐如下(也是8卡HGX单节点)。因此这一套EP并行下来,
用阉割版了接近一半NVLINK带宽+接近一半的HBM的H800,反而实现了1.5倍于H200的性能...
2)Deepseek服务的平均输出速率为20~22tps,
那么我们可以轻松地算出平均的并发请求数为168B/24*3600/21=9.26万(每秒),并发数/DAU为0.386%
4. 到底需不需要超节点?
这次DeepSeek
推理的灵魂在EP专家并行
,而实现稀疏MoE专家并行的官方最佳配置就是
40个节点320卡,
这种紧耦合的百卡大系统,相比过去单卡推理,性能数量级提升+成本数量级下降
。而除了NV有GB200这样的百卡超节点,全世界第二个实现的就是昇腾910C 384卡超节点...(且R1优化上上的通信问题,最近似乎已经解决了)
5. 对同行意味着什么?
Y博:
对于一个技术团队的中高层, 他最核心的价值就是两点1)知道团队做到什么水平才算完;2)团队如果不合格, 确认是什么具体环节的问题。DS这次等于给所有推理团队送了个首席技术官....
换句话说,
现在推理全行业知道了benchmark最高标准在哪儿了...
且告诉你了明确的路径和方法,很快会朝着这个目标继续努力。
之前以为16块钱是盈亏平衡线,现在告诉你是2块钱...
加完油吧各位。新一轮价格战已经在路上了。
另外,OpenAI的200美金/月天价订阅费,是不是有点尴尬...