央视《对话》栏目始终关注人工智能技术的发展动态。从大模型的爆发，到2024年初Sora的惊艳亮相并引发广泛热议，再到深入探寻AI在实际应用中的落地情况，采访国内具身智能行业的领军企业，全方位展现人工智能领域的前沿景象。而在近期，又一个话题点燃了科技圈的争论，那就是：扩展定律是否正在走向失效？
扩展定律，又叫Scaling Law，是人工智能近五年来非常热门的一个话题，也是这次大模型浪潮的一个非常重要的驱动力。它的主要思想就是我们可以通过把模型参数持续变大，让模型能够容纳更多的知识，从而具备更强的能力。
2024年下半年，业内发现，由于数据和算力达到了一个相对的瓶颈，开始有人担心，扩展定律是不是触到了天花板。彭博社2024年 11 月的报道称，OpenAI 的下一代模型Orion进步不明显，谷歌Gemini 能力未达预期，Anthropic 的 Claude 3.5 Opus 也推迟发布，接踵而来的消息引发科技界对扩展定律即将失效的担忧。OpenAI 联合创始人 Ilya Sutskever 接受路透社采访时更是直言，超大规模语言模型的投资回报率大幅降低，AI 实验室面临的挑战愈发复杂，进一步加深了人们对扩展定律当前困境的思考。
扩展定律到底有没有失效？行业又对此怎么看呢？在钛媒体T-Edge创新大会上，我们采访了一些国内国外的行业大咖，听听他们怎么说。
扩展定律要终结了吗？
DeepAI创始人兼CEO Kevin Baragona：
我认为目前尚未有证据表明扩展定律是无效的，它仍然在起作用。放缓的原因可能在于，互联网上所有容易获取的数据都已经被抓取并录入到这些模型中了。扩展定律所预测的是一种数学层面的东西，会产生所谓的精度损失。对于推理模型的训练，你不会将在互联网上找到的一般性数据输入给它，而是输入与推理相关的特定类型的数据。所以扩展定律背后的数学原理仍然有效，但由于数据匮乏，收益可能会递减。
中国工程院院士、之江实验室主任王坚：
我觉得Scaling Law一定会失效的，规模到一定程度的时候，它一定会失效，或者它一定会有新的方法出来。但是今天Scaling Law就在失效，可能我就带来一个很大的怀疑。用一个不太恰当的比喻，如果你没有到100万张卡的时候，你先不要说它会失效。你不能说我往太空走了100公里，就宇宙到了尽头了。我想我们对这个事情的边界可能还没有探索到。
面壁智能创始人刘知远：
在我看来，这个问题的回答是：既是也不是。现有的数据和计算资源已经不足以支持模型再像过去五年那样，几百倍甚至上千倍地进行模型参数规模的增长了。Scaling law 一定还会持续地发挥作用，但是它会按照一种全新的曲线增长，追求的是用更小参数的模型，去容纳更多模型智能能力，从而让模型能在更多的终端设备上跑得动、跑得快，让大模型能够尽可能地被放在离每个人最近的地方。
大模型下一步卷的是什么？
中国工程院院士、之江实验室主任王坚：
我不知道，如果那么简单这个事情也不会是今天这个样子。大模型从来不只是在Scaling Law上，从来都是在不同的领域里边在探索。所以我想今天可能最好的一个事情就是，大家都在探索不同的方法。
面壁智能创始人刘知远：
高质量将会是一个非常重要的关键词。我们最近这半年探索了一条新的技术路径，我们把它称为 Densing Law，也叫大模型的能力密度定律。因为过去五年的时间，我们看到了同样的模型能力可以被放到一个更小的参数规模里，这表明模型的知识密度在不断增强。这点跟过去 80 年芯片的摩尔定律所预言的类似：每隔一段时间，单位面积芯片上的电路密度会增加一倍，从而带来计算设备的小型化。每隔一段时间，模型知识密度的增加，也能在算力有限的情况下让更多人能用得上、用得起（大模型）。
DeepAI创始人兼CEO Kevin Baragona：
