专业👍-20250210095021

Scaling Law过去是、现在是、将来也会继续是推动大模型快速发展的第一动力，最近之所以 Deepseek R1火出天际，一个重要原因是它复现并开源了大模型Post-Training和Inference两个阶段Scaling Law的具体做法，模型效果拔群。那么， Scaling Law曲线可以无限增长吗？再比如，目前我们有三种Scaling Law（Pre-train、RL、Test Time），它们组合起来的Scaling Law看起来是什么样子？本文探讨这些问题。