专栏名称: 大数据文摘
普及数据思维，传播数据文化
目录
相关文章推荐
数据派THU  ·  【CMU博士论文】结构化离散数据的生成模型及 ... ·  2 天前  
数据派THU  ·  【CMU博士论文】适应结构与利用结构进行适应 ... ·  4 天前  
CDA数据分析师  ·  【案例】特斯拉、大疆、海尔等巨头产品生命周期 ... ·  5 天前  
数据派THU  ·  Hymba: ... ·  5 天前  
数据派THU  ·  活动预告丨认知物理学研讨会将在清华大学举办 ·  6 天前  
51好读  ›  专栏  ›  大数据文摘

OpenAI正式发布o3 - 通往AGI的路上，已经没有了任何阻碍。

大数据文摘  · 公众号  · 大数据  · 2024-12-22 18:30

正文

大数据文摘受权转载自数字生命卡兹克

昨天凌晨2点，OpenAI的12天直播，终于来到了最终章。
奥特曼，也在一片圣诞的气息中终于回归。
为大家带来了最后的压轴大戏。
OpenAI o3。
又一次超群，又一次把模型的能力，推到了新的高度。
也向全世界证明了，OpenAI，依然在铁王座上牢不可摧。
我也想起了OpenAI研究员在发布o1之前的那句话：
“我们通往AGI的路上，已经没有任何阻碍了”
之所以OpenAI直接发布o3没有o2，原因也挺简单的。
因为跟英国电信服务提供商O2可能存在版权或商标冲突，所以直接跳过了。。。
直接到o3。
而OpenAI直播一完，X上基本就沸腾了。
o3的能力，对现在所有模型，几乎都直接是降维打击。
看下o3的能力吧。
一些粗的评测集简单过一下。
左边的是软件工程考试（SWE-Bench Verified），这就像是一个考写程序的考试，比如你写一个软件要它快速、准确，还不能有 bug（小错误）。这是考察 o3 是否能像一流的软件工程师一样写出完美的代码。
o3 的成绩：71.7%，比o1还强了不少。
右边的那个基准比较猛，Codeforces，一个全球著名的编码竞赛平台。
o3的得分是2727，这个得分，相当于整个榜单的第175名，已经超越了99.99%的人类了。
o1的代码能力已经强到爆炸了，而o3，又向AGI的山顶，前进了一大步。
数学竞赛AIEM 2024和博士级科学考试GPQA Diamond。
AIEM 2024接近满分，如果我没记错的话，这应该也是第一次AI能达到有AIEM接近满分的水平。
博士级科学考试有进化，但没数学和编程进化的这么猛。
接下来的这个数学基准比较有趣一点。
FrontierMath，Epoch AI 开发的一个数学基准测试，由60多位顶尖数学家的合作开发，旨在评估人工智能在高级数学推理方面的能力。
而且为了避免数据污染，所有的题目都是原创的且从来没有发布过的新题目。
之前GPT-4 和 Gemini 1.5 Pro这种模型去评估的时候，成功功率不足2%，与其他传统数学基准（如 GSM-8K 和 MATH）中超过90%的成功率形成鲜明对比。
而这一次，o3直接达到了25.2。
当各大其他模型都还在卷传统数学基准的时候，o3真的已经进入了另一个世界了。。。
就像大家还在大斗师阶段互相卷，你是五星大斗师，我是八星大斗师。
两者争论不休，正准备要比试比试，忽然就看到一个斗宗强者踏空而行，留下一地的卧槽。
这还比个鬼。
然后，就是我觉得，整个基准里，最有趣的一个基准了：
ARC-AGI。
先说说这是个啥玩意。
ARC-AGI于2019年首次提出，旨在通过一系列抽象和推理任务来测试AI系统的能力。
主要是因为传统的技能测量方法并不能有效代表智能，因为它们往往依赖于先前知识和经验，而真正的智能应体现在广泛的适应能力和通用性上。
所以，ARC-AGI诞生了，里面的这些任务要求AI识别模式并解决新问题，每个任务由输入输出示例组成。这些任务以网格形式呈现，每个方块可以是十种颜色中的一种，网格的大小可以从1x1到30x30不等。参与者需要根据给定的输入生成正确的输出，测试其推理和抽象能力。
可以简单的理解成，找规律。
大概就是这样的。
非常的难且抽象。
过去几代模型的评分在此：
* GPT-2 (2019): 0% 
* GPT-3 (2020): 0% 
* GPT-4 (2023): 2% 
* GPT-4o (2024): 5% 
* o1-preview (2024): 21% 
* o1 (2024): 32% 
* o1 Pro (2024): ~50%
但是今天，o3的分数，达到了恐怖的87.5%。
从0%到5%，整整花了5年的时间，而如今，从5%到87.5%，仅仅只花了半年。
而对应的，人类的阈值分数，是85%。
我们通往AGI的路上，已经没有任何阻碍了。
不过o3强归强，但是又是一个期货，OpenAI目前只对红队开放，如果是巨佬的话，可以去申请试试。
网址在此：https://openai.com/index/early-access-for-safety-testing/
目前不知道o3什么时候放出，但是OpenAI又基于o3，训了3个小尺寸的o3模型。
目前o3-mimi，预估在1月底可以对外开放，但是感觉到时候，肯定又是pro会员专属的模型了。
我越来越期待，2025年AI行业的进化了。
推理模型、Agent、AI硬件、世界模型。
每一个都是比这个中间态的2024，都更让人兴奋的东西。
2025，必是AI行业，真正的星辰大海。
我们也在最后，回顾一下这12天的直播吧。
Day 1：满血o1上线，ChatGPT Pro会员上线，o1 pro推出。
Day 2：基于o1的强化微调。
Day 3：Sora正式发布。
Day 4：ChatGPT Canvas全员开放以及小功能更新。
Day 5：给苹果站台，宣传苹果全系接入GPT。
Day 6：4o的实时视频理解上线。
Day 7：ChatGPT发布新建文件夹“项目”功能。
Day 8：ChatGPT Search全量开放，搜索体验大幅优化。
Day 9：发布了o1的API、更新了实时语音的API、发布了偏好微调能力（PFT）。
Day 10：物理意义上的可以给ChatGPT打电话了。
Day 11：炒冷饭，ChatGPT 桌面版能读到别的应用。
Day 12：OpenAI o3正式发布。

这12天，稍微有点惊喜的日子大概只有2、3天，其他都是垃圾时间。
还好，今天的大货，补上了之前的阴霾。
最后，还是忍不住感叹一声。
这12天，像一场漫长的马拉松。
我们经历了深夜中数不胜数的垃圾时间。
却也迎来了最后的高光时刻。
这感觉。
还挺AI的。


租售GPU算力
租：4090/A800/H800/H100
售：现货H100/H800

特别适合企业级应用
扫码了解详情☝


点「在看」的人都变好看了哦！
推荐文章
数据派THU  ·  【CMU博士论文】结构化离散数据的生成模型及其在药物发现中的应用
2 天前
数据派THU  ·  【CMU博士论文】适应结构与利用结构进行适应：探索现代深度学习成功的原因
4 天前
CDA数据分析师  ·  【案例】特斯拉、大疆、海尔等巨头产品生命周期实例分析
5 天前
数据派THU  ·  Hymba: 结合注意力头和SSM头的创新型语言模型方案
5 天前
数据派THU  ·  活动预告丨认知物理学研讨会将在清华大学举办
6 天前
LinkedIn  ·  如何提高你朋友圈的品味
8 年前
人民日报  ·  【健康】 清血管的特效菜，30岁后要多吃！否则后悔都来不及！
8 年前
老虎财富  ·  马甲私募亏损：基金一姐王茹远流年不利
7 年前
吃喝玩乐在北京  ·  看完鬼吹灯，最想吃的竟然是它！
7 年前
深夜发媸  ·  男友不给你买口红？就拿这篇文章甩他脸上！
7 年前
Sov5搜索   ·   小百科   ·   移动版
51好读 - 好文章就要读起来!