专栏名称: 李楠或kkk
Angry Miao创始人 喵司创始人。前魅蓝总裁,历任 SVP CMO 董事 等等。。。 I saw its ordered happiness, but a fever in my blood asked for a wilder course.
目录
相关文章推荐
李继刚  ·  Claude Prompt:周报 ·  3 天前  
李继刚  ·  Claude Prompt:周报 ·  3 天前  
看天下实验室  ·  屏蔽力,当代年轻人的必修课 ·  4 天前  
看天下实验室  ·  屏蔽力,当代年轻人的必修课 ·  4 天前  
51好读  ›  专栏  ›  李楠或kkk

我说模型训练遇到了瓶颈并不是说 AGI 的路径就不现实了。Noa-20241113000735

李楠或kkk  · 微博  · 科技自媒体  · 2024-11-13 00:07

正文

2024-11-13 00:07

我说模型训练遇到了瓶颈并不是说 AGI 的路径就不现实了。

Noam Brown 是一个 open ai 员工,截图是他转发的 Open AI 圈子内对于 1o 之后状况的一个总结,很明显,他们很可能发现了规模法则将要终结,但是同时,

新的“时间法则”诞生了。

给与模型更多的思考时间(注意这个时间单位是 cpu 循环,所以更快的计算机还是有意义的)会大幅度提升模型能力,而堆砌更多的节点,算力,电力则没那么重要了。其实也合理,思维的价值,不太可能缺少时间这个最宝贵的资源的参与。

这就意味着,其实模型还是需要更多的深入了解 AI 的技术人员同时运用,并且花费更多的时间,才能取得更好的结果。

这无疑是对仍然拥有工程师红利的中国的一个好消息。。。但是对英伟达肯定不是。。。

下面是那两段最重要的总结的翻译:

3: 有一个新的扩展定律出现了:给模型提供更多的推理计算能力,其推理能力就会更好。随着预训练世界中边际收益递减的迹象,能够盯着这个前景向好的新扩展定律的起点让人激动不已。

4: 最先进的模型及其构建的 AI 应用,将从"快速思考"(依赖预训练快速响应)转向"缓慢思考"(推理时计算)。