特斯拉的Scaling Law是什么？

我们之前针对Robotaxi和FSD的scaling law，有过深度的分析，这次earning call也把我们的很多结论进一步证实和强化了。特斯拉从2023年中开始采用H100训练端到端的V12模型，随着训练算力的不断提升（也包括模型参数、架构和数据的指数级提升），模型的性能显著提升。最早的 V12是在大约几千H100 上训练的 ，而 V12.5则是在约数万H100训练的 ，按马斯克的说法，已经比V12提升百倍。到今年底，特 斯拉还会有额外五万H100，基于此训练的V13也会有更大的性能提升 （按照马斯克的说法，是5-6倍miles between intervention的提升）， 2024年总共的性能提升会超过3个数量级 。明年，随着更多的H100，和GB200的引入（传闻有10万+的booking），模型能力会进一步提升，直到超过人类平均水平。相信这也会进一步提高FSD软件的Adoption。

那么，接下来还有哪些scaling的方向呢？首先是HW5.0的引入。 HW4.0的算力只有百T级别 ，是很低的，如果 HW5.0能把算力提升到1000T甚至2000T以上 ，模型的能力能够进一步跨越。其次，是类似ChatGPT o1， 强化学习+合成数据 ，system1+system2。o1本质上通过强化学习+合成数据，解决复杂任务reasoning数据不足问题，而FSD目前由于太过于优秀，corner数据出现的频率太低，这一点和reasoning数据的缺乏是类似的。

最后，与XAI模型的结合，进一步提升模型能力。 XAI目前在GPU infra领域的进展是世界第一的 ，马斯克也提到XAI的Infra技术，已经对于特斯拉的超大规模集群有很大的帮助了。未来可以期待有更多的合作。

如果想进一步讨论特斯拉的FSD和robotaxi的scaling law，欢迎联系我们的销售！

我们正在发售一篇报告，其内容是：

3Q24季度调研：MSFT、META、AMZN

尚有数篇报告正在调研中，其内容是：

AI咨询行业：PLTR、AI、ACN