专栏名称: AI算法与图像处理
考研逆袭985，非科班跨行AI，目前从事计算机视觉的工业和商业相关应用的工作。分享最新最前沿的科技，共同分享宝贵的资源资料，这里有机器学习，计算机视觉，Python等技术实战分享，也有考研，转行IT经验交流心得
目录
相关文章推荐
中国国家地理  ·  这种江西，好“仙”啊 ·  昨天  
中国国家地理  ·  中国“时空折叠术”，真被低估了 ·  昨天  
中国国家地理  ·  春到三峡｜我们去李子花开的地方徒步吧！ ·  2 天前  
中国国家地理  ·  科考旅行｜华莱士线物种演化考察报名 ·  2 天前  
安利云学堂  ·  涟漪丨快乐跳操+营养打底 ... ·  3 天前  
51好读  ›  专栏  ›  AI算法与图像处理

谷歌惨遭截胡，多篇论文押中o1秘诀却被OpenAI抢先！

AI算法与图像处理  · 公众号  ·  · 2024-09-19 23:33

正文



报道

来源：新智元
【导读】 昨天谷歌DeepMind首席科学家的推文，让不少人替谷歌扼腕叹息：明明o1的技术，谷歌已经连发多篇论文，最终为何还是被OpenAI截胡？大模型果然不存在护城河啊。

o1的发布，直接带OpenAI迈入新的台阶。
就在刚刚，Sam Altman自豪发文表示：虽然花了一些时间，但OpenAI已经实现了第三个目标！
值得一提，这篇2016年的博客文章，作者是Ilya Sutskever、Greg Brockman、Sam Altman和Elon Musk。

目标1：衡量我们的进展

目标2：打造一个家用机器人

目标3：构建一个具有实用自然语言理解能力的智能体

目标4：使用单一智能体解决多种游戏

八年后，OpenAI真的把目标3实现了。
o1模型为什么如此重要？用Fixie创始人、AI研究员Matt Welsh的话说，原因就在于，它将AI模型中的「思维链推理」能力带给了大众。
推理能力直接内置于模型中，无需借助额外工具就能达到类似效果。我预计这将大幅提高人们对AI模型能力的期望。
然而大家很快发现了「华点」：一旦向o1询问CoT过程，就会收到「封号」警告。
这是为什么？
众网友由此猜测：o1可能并不是一个新模型，而是更小的模型与gpt协同工作，亦或只是提示工程。
如果公布完整的思维链，可能就会有人根据模型在思考时产生的推理痕迹进行训练，从而得到更好的开源模型。
因此，OpenAI对o1的思考过程讳莫如深，藏得很好。
更绝的是，有人发现，o1背后的技术原理，谷歌也早就发现了。
遗憾的是，他们因速度太慢，再次被OpenAI截胡。

谷歌也发现了，但OpenAI更快

o1之所以在性能上实现碾压式飞跃，就是因为它首次在LLM中实现了强化学习和CoT，让LLM真正学会了思考。
但其实，谷歌DeepMind一篇8月发表的论文，就发现了测试时计算比扩展模型参数更有效。
这篇论文，恰恰揭示了o1的工作原理。

论文地址：https://arxiv.org/pdf/2408.03314v1
而早在今年1月，谷歌和斯坦福的研究者就在这篇ICLR 2024论文中提出，思维链赋能Transformer，能解决本质上的串行问题。

论文地址：https://arxiv.org/pdf/2402.12875
就在昨天，谷歌DeepMind首席科学家Denny Zhou发文表示：「LLM推理能力的极限是什么？天空才是极限」。
他cue到这篇论文，总结道：「我们已经用数学方法证明了，Transformer可以解决任何问题，只要允许它们根据需要生成任意数量的中间推理token。」
这篇论文的核心思想也是说，只要给够LLM时间，通过一系列中间推理token去思考，它就能解决全部问题。
可见，谷歌在技术原理上早已达到很先进的程度，但并没有切实落地到产品上，因此才一再被OpenAI截胡。
Abacusai CEO锐评道：谷歌的研究水平是顶尖的，但模型却是落后的。
而且，她还cue到了谷歌不为开发者所喜的Gemini，简直是太扎心了。
具体来说，谷歌DeepMind在8月的 论文中提出，让LLM进行更多的「测试时计算」（test-time computation），对于构建能在开放语境下操作、能实现自我提升的agent，是关键的一步。
在这里，团队重点研究了扩展「推理期计算」（inference-time computation）这个问题。
团队分析了扩展测试时计算的两种主要机制：（1）针对密集的、基于过程的验证器奖励模型进行搜索；（2）根据测试时得到的提示词，自适应更新模型对响应的分布。
结果显示，在这两种情况下，对测试时计算的不同扩展方法的有效性，很大程度上取决于提示词的难度。
基于此，团队提出了一种「计算最优」扩展策略——通过为每个提示词自适应地分配测试时计算，使测试时计算的扩展的效率提高4倍以上。
另外，在FLOPs一致的评估中，对于那些较小的基础模型已取得一定程度非平凡成功率的问题，测试时计算可以使其超越规模大14倍的模型。
这就可以看出，对比o1模型，这篇研究的结论几乎是相同的。
5月的论文则表明，只要允许根据需要生成任意数量的中间推理token，Transformer可以解决任何问题，LLM的推理没有极限！
不难看出，Denny Zhou等人所提出的「中间推理token」，与 o1的核心技术是何其相似 。
要知道，传统的Transformer模型的致命弱点，就是擅长并行计算，但不擅长串行推理。
而CoT，恰恰解决了这个问题。
在本文中，研究者将Transformer的计算过程与电路模型类比。
他们借用电路复杂性理论，定义了CoT[T(n), d(n), s(n), e(n)]，其中O(T(n)) 表示 CoT 的执行步骤数，O(d(n)) 表示嵌入大小，O(e(n)) 表示指数部分的位数，O(s(n)) 表示有效位数。
传统的Transformer模型，只能解决AC0电路能解决的问题；但一旦加入CoT，Transformer几乎可以解决任何问题。

只要CoT步骤足够多，Transformer就能模拟任意大小的布尔电路，解决P/poly问题
也就是说，可以用数学严格证明，CoT可以让Transformer解决几乎所有能用计算机解决的问题。

利用CoT，可以模拟布尔电路中每个逻辑门的计算
在模运算、置换群组合、迭代平方和电路值问题上，都可以证实：CoT赋予了Transformer模拟任意电路的能力，从而能够解决电路值问题这个P完全问题。






请到「今天看啥」查看全文


推荐文章
中国国家地理  ·  这种江西，好“仙”啊
昨天
中国国家地理  ·  中国“时空折叠术”，真被低估了
昨天
中国国家地理  ·  春到三峡｜我们去李子花开的地方徒步吧！
2 天前
中国国家地理  ·  科考旅行｜华莱士线物种演化考察报名
2 天前
安利云学堂  ·  涟漪丨快乐跳操+营养打底 催生业务之花绽放——访谈嘉宾杨丽萍
3 天前
普象工业设计小站  ·  为什么你看了那么多家居美图，却依旧买不好一把餐椅？
8 年前
新北方  ·  健康|你的年龄睡多久才合适？睡不对还会变丑！
7 年前
VOA英语听力  ·  【每日一句】You may be out of my sight, but never out of m
7 年前
有调App  ·  深夜放毒谁比得过它？比泡面有“肉感”多了！
7 年前
好地讯  ·  访谈：丁兰新城将添一“绿肺”，人们对“她”有何期许？
7 年前
Sov5搜索   ·   小百科   ·   今天看啥   ·  
51好读 - 好文章就要读起来!