专栏名称: AGI Hunt
关注AGI 的沿途风景!
目录
相关文章推荐
南都鉴定评测实验室  ·  巴比馒头跨界宠物食品!企业:后续不排除推出自有品牌 ·  2 天前  
51好读  ›  专栏  ›  AGI Hunt

大模型进入瓶颈期,Gary Marcus:我赢了!

AGI Hunt  · 公众号  ·  · 2024-11-11 09:01

正文

大模型发展遇到了「天花板」

最近几周,AI圈突然刮起了一阵「失败风暴」

一个接一个的「爆料」在网上流传:Gemini 2.0失败了、GPT-5(Orion)失败了、Claude 3.5 Opus也失败了......

这些消息是从哪里来的? 是真的吗?

大模型真的「失败」了吗?


Haider 首先提出了这个尖锐的问题。但业内人士很快指出,所谓的「失败」其实是一种 误读

clown e/acc 解释道:

Orion 并没有失败。它只是据传没有达到从 GPT-3 到 GPT-4 那样巨大的进步幅度。说实话,这并不令人意外,因为 GPT-4 已经用完了所有互联网数据。

Phil 则补充了一个重要细节:

他们确实从官网下架了 3.5 Opus,并编辑了过去的博客文章。这不是泄露,而是公开的事实。

Gary Marcus:我早就预警过


在这个关键时刻,AI 界著名「怀疑论者」Gary Marcus 站了出来,直言:「 游戏结束了,我赢了。GPT 正如我预测的那样,进入了收益递减期。

Marcus 在 2022 年 3 月就发表过一篇著名文章,指出「深度学习正在撞墙」。当时,他遭到了包括 Sam Altman、Greg Brockman、Yann LeCun 在内的众多业界大佬的嘲讽。

如今,风向似乎开始转变。著名风投家 Marc Andreesen 在播客中承认:「 我们增加 GPU 的速度保持不变,但智能提升完全没有跟上 」。

The Information 的编辑 Amir Efrati 也证实:「OpenAI 即将推出的 Orion 模型显示,GPT 的改进正在放缓。」

见: OpenAI 新模型Orion 或难产!

为什么会有这么多「失败」传闻?

@masfiq018 直接抨击道:

你们这些「影响力者」在疯狂传播假新闻!

有趣的是,Travis(@mathepi) 提出了一个大胆的猜测:

也许是每家公司都在散布竞争对手失败的谣言......这是计中计中计。

而Mike Sulka(@SulkaMike) 则保持理性:

如果是真的,那是时候认真反思一下我们的核心科学理念了。如果不是,那就继续用Blackwell和合成数据扩大规模。我猜真相在这两者之间。

技术瓶颈还是另有隐情?

=9WxG (@9wxg1) 从技术角度分析:

Gemini模型缺乏深度,API极不稳定,失败率轻松超过20%。GPT系列整体最好,但改进幅度不大。Claude模型在网页编程方面最强,但其他方面一般。

Mahaoo(@mahaoo_ASI) 则建议:

我建议我们等模型真正发布时再做判断。记住,即使是小的改进也很受欢迎。

虽然「失败」或许只是传闻,但也说明, AI发展并非一帆风顺,技术突破往往需要时间沉淀 。与其盲目追逐谣言,不如静待新品发布,用实际表现说话。

如Franske(@zusjevanjezus)所说:

失败和放缓不是一回事。进步从来都不是完全线性的。人们需要明白,把自己的急躁投射到AI上只会让自己更加沮丧。

技术突破还是商业泡沫?


Marcus 认为,这个趋势可能带来严重的经济后果:

  • 高昂的训练成本 :规模越大,成本越高

  • 同质化竞争 :所有公司最终都达到相似水平

  • 商品化风险 :LLM 可能成为廉价商品

  • 价格战隐患 :收入将被压低,利润难以实现

不过,也有人持不同观点。𝒫𝑒𝓇 𝒜𝓇𝓃𝑒𝓃𝑔表示:

这其实并不重要,因为目前的能力已足以在各个领域带来颠覆性变革。这些变革将加速研究进展。

The Singularity Project 则从历史角度做了个有趣的类比:

LLM就像是智能时代的第一台蒸汽机。蒸汽机在热力学原理被发现前就已经在使用了。现在我们在制造智能引擎,却还不了解智能的基本原理。工程师想要建造东西,他们边建造边学习。下一代智能引擎将建立在对智能的普遍规律理解之上。

下一步何去何从?







请到「今天看啥」查看全文