o3-mini数学推理暴打DeepSeek-R1？AIME 2025初赛曝数据集污染大瓜

---

新智元报道

大语言模型，到底是学会了解决数学问题，还是只是背下了答案？

LLM的「Generalize VS  Memorize」之争，迎来最新进展。

苏黎世联邦理工的研究员Mislav Balunović，在X上公布了一众顶级AI推理模型在AIME 2025 I比赛中的结果。

其中，o3-mini (high)令人印象非常深刻，以非常低的成本解决了78%的问题。

DeepSeek-R1，则解决了65%的问题，而且它的蒸馏变体也表现不错，不愧是领先的开源模型！

绿色表示问题的解答率超过75%，黄色表示解答率在25%-75%之间，红色表示解答率低于25%

然而，结果真的是这样吗？

威斯康星大学麦迪逊分校教授，目前在微软担任研究员的Dimitris Papailiopoulos，对这一测试的结果提出了质疑。

教授表示，自己对AI模型在数学题上取得的进步，非常惊讶。

原本他以为，一些较小的蒸馏模型遇到这些题就寄了，没想到它们却拿到了25%到50%的分数。

这可太令人意外了！

要知道，如果这些题完全是新的，模型在训练过程中从未见过，按理说小模型能拿0分以上的分数就很好了。

一个1.5B参数的模型连三位数的相乘都做不出，结果却能做出奥数题，这合理吗？

这就不由得让人怀疑，其中有什么问题了。