专栏名称: 人工智能学家
致力成为权威的人工智能科技媒体和前沿科技研究机构
目录
相关文章推荐
黄建同学  ·  2025 AI ... ·  3 天前  
AIbase基地  ·  AI日报：​DeepSeek上线国家超算互联 ... ·  3 天前  
AIbase基地  ·  AI日报：​DeepSeek上线国家超算互联 ... ·  3 天前  
量子位  ·  热搜第一！DeepSeek百万年薪招AI人才 ... ·  3 天前  
爱可可-爱生活  ·  【Crocotile ... ·  3 天前  
爱可可-爱生活  ·  【Claude和o3 ... ·  3 天前  
51好读  ›  专栏  ›  人工智能学家

GPT 未竟的革命，由 o1 接棒：或是 LLM 研究最重要的发现

人工智能学家  · 公众号  · AI  · 2024-09-15 16:54

正文


来源：大数据文摘受权转载自AI科技评论
作者：刘洁

编辑：岑峰

天下武功唯快不破，但 OpenAI 不走寻常路，新出的 o1 系列宣告天下：
我们更慢，但更强了。
o1 要花更多的时间思考问题，再做出反应，但在复杂推理层面直接窜了几个档位。
在国际数学奥林匹克 (IMO) 资格考试中，GPT-4o 仅正确解决了 13% 的问题，而 o1 得分为 83%。
好家伙，这数学水平，上一次见面还是小学生，现在直接博士毕业了？
OpenAI 也很得意，表示 o1 已经达到AI能力新高度了，所以直接把计数重置到1，开启新的大模型系列 OpenAI o1。
本次 OpenAI o1系列分为三个型号，最强但还未发布的 o1，o1 的预览版 o1-preview，和性价比最高的轻量版 o1-mini。
之前的 GPT 系列还被诟病更新“挤牙膏”，没想到 OpenAI 一直都是老样子，不鸣则已一鸣惊人，直接给 AI 界来了个大大大地震。
综合网络对于 o1 的报道和评论，我们注意到几个关键信息：
  • 这可能是Scaling Law提出以来，LLM领域最重要的发现。这一进展的核心是推理时间和参数规模两条曲线的协同作用，而不是单一曲线；
  • 与强化学习的完美结合，可能为我们指明了通往人工通用智能（AGI）的有效路径（此前AI科技评论8月28日曾举办《大模型时代的强化学习》网络研讨会，讨论了强化学习与大模型的结合，感兴趣的朋友点击下方链接进行回看）；
  • o1 并非 GPT-4o 的升级版本，目前仍然无法解决像黎曼假设这样极其复杂或开放的问题，也没能解决幻觉问题。


OpenAI 对大模型的这次重新构想，无疑将对大模型的未来走向和整个AI领域的格局产生深远影响。
01 OpenAI的又一里程碑
奥特曼表示，o1 是他们迄今为止功能最强大、最一致的模型系列，只是使用的时候要花更多时间（凡尔赛了）。
（如图所示，o1 在绝大多数重推理任务中显著优于 GPT-4o）
正在休长假、沉寂了一个月的 OpenAI 的另一位联创 Greg Brockman 洋洋洒洒写了一长段推文，表扬了 o1 的超强性能，并特别指出 o1 是第一个使用强化学习训练的模型，会在回答问题之前进行深入的思考。
lmsys 也马上在 Chatbot Arena 更新了 o1-preview 和 o1-mini，欢迎大家测试。
参与研发o1的 Shengjia Zhao 很谦虚地表示，o1 并不是完美的，也不会适合所有事情。不过人们能感受到它潜力无限，并再一次感受到 AGI。
Jim Fan 认为，o1 透露出的研究进展可能是自 2022 年 OG Chinchilla 缩放定律以来 LLM 研究中最重要的发现。
他还提到了两篇近期发表的关于 Scaling Law 的论文，并指出 OpenAI 早已意识到这一点，并通过 o1 证实了这些发现。
02 大模型+强化学习=AGI？
大模型与强化学习的结合是近几年来的热门研究方向之一。
大模型的泛化能力和背景知识与强化学习的交互学习和任务优化相结合，可以创建出能够更好地适应复杂环境、解决多任务问题、并提供更高效和可解释决策的智能系统。这种互补性使得两者的结合成为推动人工智能发展的重要方向。
o1 大模型的发布，首次证明了语言模型可以进行真正的强化学习。而 OpenAI 的一位研究员说，o1 证明了强化学习才是通往 AGI 道路上的必备要素（RL研究者狂喜）。
OpenAI 另一位专注推理的研究员也说，通过强化学习，o1 能够在做出反应进行“思考”，让他们不用再受预训练的瓶颈限制，终于可以做扩展推理计算了。
强化学习和LLM可以说是非常适配了，只不过在 o1 之前还没有人能用 LLM 真正实现强化学习。
之前就有人说，模仿是 LLM 训练的基础，而模仿其实就是强化学习的问题。
DeepMind 的新论文也有提到，与监督学习相比，强化学习可以更好地利用序列结构、在线数据并进一步提取奖励。
领导 DeepMind 强化学习研究小组的David Silver，也在前段时间的演讲中强调，“需要重新关注强化学习，才能走出 LLM 低谷。”
03 局限
不过，一众好评声中，也有人指出了 o1 存在的一些问题。
Andrej Karpathy 在测试后发推特说，o1-mini 还是有大模型的老毛病，问它黎曼假设这类复杂问题就偷懒逃避。
Gary Marcus 认为 o1 并不是通用人工智能（AGI），甚至离 AGI 还很远。
他尖锐地点出了 o1 的八条问题，从多个方面批评了o1模型的细节披露不足、改进不够全面，认为实际测试与宣传间存在差距，并提醒消费者要慎重。
Hugging Face 的 CEO 也表示，AI 并不是在思考，只是在在“处理”、“运行预测”……和谷歌或者计算机做的事情是一样的。这种技术系统是人类的错误印象，只是廉价的骗术和营销手段，让人误以为它比实际更聪明。
OpenAI 自己也承认了 o1 的不足。在一些自然语言任务测试中，尤其是写作能力方面，GPT-4o 还是更胜一筹。
并且，o1 的推理依然存在缺陷，在实现质的提升的同时也没能解决LLM的幻觉问题。
著名程序员、Django Web 框架的联合创建者 Simon Willison 在推特上收集在 GPT-4o 上推理失败，但在 o1 成功的例子，只找到了几个让他满意的案例。他认为从推理来看，o1 并不是 GPT-4o 的升级版。
他在博客中写道，o1 并不是简单的 GPT-4o 升级版，而是通过在成本和性能方面引入重大权衡，换取了更进一步的推理能力。
很明显，o1 和 GPT-4o 代表大模型的两个不同方向。OpenAI 也提到，以后会分别研发升级两个模型，这意味着，过去适用于 GPT-4o 的 Prompt 技巧未必同样适用于 o1。






请到「今天看啥」查看全文


推荐文章
黄建同学  ·  2025 AI 的阅读清单，适合对DeepSeek感兴趣、AI -20250205153127
3 天前
AIbase基地  ·  AI日报：​DeepSeek上线国家超算互联网平台；字节公开数字人视频生成框架OmniHuman
3 天前
AIbase基地  ·  AI日报：​DeepSeek上线国家超算互联网平台；字节公开数字人视频生成框架OmniHuman
3 天前
量子位  ·  热搜第一！DeepSeek百万年薪招AI人才，实习生都能月入过万
3 天前
爱可可-爱生活  ·  【Crocotile 3D：一款强大的3D建模工具，用方块拼出无-20250205104834
3 天前
爱可可-爱生活  ·  【Claude和o3 mini在开发流程中的最佳分工】第一阶段：-20250205082650
3 天前
功夫财经  ·  苏小和：竞争是罪恶，垄断是仁慈，吗？
7 年前
中国政府网  ·  李克强总理在澳大利亚媒体发表署名文章：推动中澳关系向前走
7 年前
齐网网络  ·  【城事】齐齐哈尔市区轧线抓拍、禁左转、禁右转信息大全！
7 年前
高顿金融分析师  ·  10大CFA备考陋习绕道，通过CFA也许用不着350小时
7 年前
猎奇漫画部  ·  内涵漫画丨取精的道路总是那么坎坷..
7 年前
Sov5搜索   ·   小百科   ·   今天看啥   ·   移动版
51好读 - 好文章就要读起来!