我说模型训练遇到了瓶颈并不是说 AGI 的路径就不现实了。
Noam Brown 是一个 open ai 员工,截图是他转发的 Open AI 圈子内对于 1o 之后状况的一个总结,很明显,他们很可能发现了规模法则将要终结,但是同时,
新的“时间法则”诞生了。
给与模型更多的思考时间(注意这个时间单位是 cpu 循环,所以更快的计算机还是有意义的)会大幅度提升模型能力,而堆砌更多的节点,算力,电力则没那么重要了。其实也合理,思维的价值,不太可能缺少时间这个最宝贵的资源的参与。
这就意味着,其实模型还是需要更多的深入了解 AI 的技术人员同时运用,并且花费更多的时间,才能取得更好的结果。
这无疑是对仍然拥有工程师红利的中国的一个好消息。。。但是对英伟达肯定不是。。。
下面是那两段最重要的总结的翻译:
3: 有一个新的扩展定律出现了:给模型提供更多的推理计算能力,其推理能力就会更好。随着预训练世界中边际收益递减的迹象,能够盯着这个前景向好的新扩展定律的起点让人激动不已。
4: 最先进的模型及其构建的 AI 应用,将从"快速思考"(依赖预训练快速响应)转向"缓慢思考"(推理时计算)。
Noam Brown 是一个 open ai 员工,截图是他转发的 Open AI 圈子内对于 1o 之后状况的一个总结,很明显,他们很可能发现了规模法则将要终结,但是同时,
新的“时间法则”诞生了。
给与模型更多的思考时间(注意这个时间单位是 cpu 循环,所以更快的计算机还是有意义的)会大幅度提升模型能力,而堆砌更多的节点,算力,电力则没那么重要了。其实也合理,思维的价值,不太可能缺少时间这个最宝贵的资源的参与。
这就意味着,其实模型还是需要更多的深入了解 AI 的技术人员同时运用,并且花费更多的时间,才能取得更好的结果。
这无疑是对仍然拥有工程师红利的中国的一个好消息。。。但是对英伟达肯定不是。。。
下面是那两段最重要的总结的翻译:
3: 有一个新的扩展定律出现了:给模型提供更多的推理计算能力,其推理能力就会更好。随着预训练世界中边际收益递减的迹象,能够盯着这个前景向好的新扩展定律的起点让人激动不已。
4: 最先进的模型及其构建的 AI 应用,将从"快速思考"(依赖预训练快速响应)转向"缓慢思考"(推理时计算)。