Ilya说scaling law结束了？其实Ilya想表达的是，到底我们应该scale什么？

Ilya和Alex的惊悚发言有些屁股决定脑袋， 如果还是pretraining继续dominate，他的新公司肯定就没机会了 。Alex主要是卖数据的，新的数据是他核心的商业模式，自然也要宣传

不过大家可能没有听Ilya整个演讲。其实Ilya想表达的是， 到底我们应该scale什么？ 比如下图，他类比了不同物种的体重（参数量）和大脑质量（智能）的对比，人科是斜率最大的。所以， 我们现在应该要找到斜率最大（效率最高）的scale方法。

目前看起来最有希望的就是o1代表的强化学习道路。 我们从7月份开始路演草莓和强化学习，一直在强调这个新的scaling law的重要性 。简单来说，就是免费且没有太大隐私问题的互联网数据用完了，剩下的都是很贵的数据了（有版权、靠人标）。 那么，用强化学习来生成数据，再结合大模型的泛化能力，可能是更好的一条路（今天Ilya在Q&A也强调了泛化能力的重要性）。我们和头部researchers们密集沟通下来也是这个感觉。

新的scaling law会带来新的机会。尤其是算力（互联？cpo？asic？）和应用。目前看起来，coding已经是明确的场景，cursor devin的arr增长都非常快，cursor的arr可能已经突破1亿美金，devin的收费也达到500美金一个月，有可能会进一步提升付费天花板。Anthropic的coding相关api收入，几个月增长了10倍。强化学习+coding，随之带来的，可能是2025年agent的大爆发。我们也在这些领域持续进行密集研究，寻找Alpha。

欢迎加入共识粉碎机活动群，我们会定期发布内容和活动