Data Infra公司虽然很想做AI,除了Databricks以外的公司,属于卡位很好、先天畸形,理想远大、推进困难。
最后所有人都要回答一个问题,
“为什么不选CSP,要选你们?”
。CSP更便宜,GPU容器也不需要转售,有一站式全家桶,有大模型能力,还有OpenAI这样的大客户背书。
过了大半年才发现,Infra公司能够把手头的事情做好就很了不起了,SNOW好好做做Data Engineering和Data Lake,DDOG好好做做Infra Monitor,CFLT 好好做做Kafka 和Flink,MDB好好做做OLTP和文本数据库,这些虽然不是AI行业最Fancy的主线,但确实有需求。
4月开始,我们正式机构化,将精力放在制作更深入的专题报告,今天也第一次在公众号里提起我们的Key Findings。
4月,我们发布了第一篇投研报告
《算力需求空间》。
这篇报告主要是为了和我们客户讨论
GPU是不是个持续需求:
-
-
并将推理场景分到了推荐系统、搜索、文生图、Chatbot、客服电销和各类软件场景,每一类场景我们都提供了详细的参数计算Excel底表,并补上了各个场景的算力消耗典型案例。
-
从最后的结果来看,可能总数是对的,但进度比我们计算的更快,在25年几乎是一次CAPEX跃升,而不是平滑地增长到2027年。
同期我们发布了第二篇投研报告
《AI与GPU在META中的应用》。
-
AI与GPU如何改变了大企业的推荐算法
,并通过调研计算展示了GPU在推荐系统中取得了什么样的ROI,以及是否向其他平台有推广的意义。
-
可能是第一个也是唯一一个将META CAPI标签体系搬上研究报告
,CAPI的影响可能比上面的AI影响更加深远。
-
为大家计算了Advantage+的分行业产品渗透率,分行业收入弹性。
-
为大家计算了Sandbox产品(文生图/文生视频在META素材应用)对收入的弹性,
这在后面成为了重要的Advantage+ Creative产品
。
-
以及AI客服/销售会如何改变未来的Click-to-message产品形态,这个故事直到今天小札才开始讲。
5月我们发布了
《微软Copilot进展、GenAI售卖场景以及如何影响公有云选择》
报告。
-
Copilot落地主要受制于数据权限和数据资产梳理
,大公司往往需要6-9个月时间进行准备,并且准备成本昂贵。
-
激活率与活跃率是产品体验的直接反映
,这在上半年也影响了Copilot的销售,并有望在年底解决。
-
同时我们拆解了API的场景,并且第一次提到模型降本以及生成数据规模减小,直接影响到了API环比增速。
-
看算力租赁价格要关注长租,和长租/短租比,
市面上充斥的各种短租爬虫价格对于追踪算力租赁的供需紧缺问题几乎完全没有帮助
,不能被这类数据误导算力已经不再紧缺。
-
从当时我们跟踪到的排队等待时间来看,算力租赁业务也处于健康状态。
-
同时我
们拆解了不同算力租赁厂商的UE和毛利情况,其毛利率情况也很健康,都能算过来ROI。
6月我们发布了
《AI通信网络研究与技术分析》
报告。
-
我们在行业内
第一次提到了800G光模块在2024年需求在1500万支以上
。
-
首先提出推理的算力需求会随着Scaling Law和复杂任务会越变越大,当时已经出现了Test-time Compute。
-
并且随着模型更加复杂,推理必须要用上更大的Rack,而不只是Pre-Train。
-
Scale-up 才是英伟达在硬件层面最大的壁垒。
我们基于美国数据中心建设情况,不同系列芯片的能耗情况,及不同地区电力供需情况,不同能源形态,对整体电力供需测算,推导得出美国26-27年左右会存在电力短缺。当时看略为激进,但根据美国能源部1
2月的报告,对28年的测算也较为接近。
-
AI数据中心作为美国的“新质生产力”,不会受到电力短缺影响