白交 发自 凹非寺
量子位 | 公众号 QbitAI
用上这个开源框架，
2天时间就能刷新7B数学推理纪录
！
蚂蚁清华联手开源的强化学习框架
AReaL-boba
，直接把推理模型训练带到了Next Level——
训练成本下降的同时，训练速率、推理能力还大幅提升的那种。
除了前面提到的7B模型，在32B模型上，只需两百美元、200条数据，就可以轻松复现
QwQ-32B
，就是
数学推理能力媲美DeepSeek-R1，一战封神的
那个。
而且开源的内容非常全面，不仅只是模型，所有训练代码，数据，模型参数以及训练细节都通通开源了，还有超级详细的技术笔记可以看，感觉像是被技术团队手把手教导。
一个技术小白也能手搓一个顶尖大模型了。
AReaL-boba，人人可复现QwQ
AReaL
，Ant Reasoning RL，是Ant Research RL Lab等开源的高效强化学习系统。在此基础之上，该版本取名为
boba
，是因为团队希望AReaL像珍珠奶茶一样让强化学习普惠整个社区，让开发者无论资源规模均可触达SOTA效果。
通过开源全部代码、数据与模型参数，AReaL-boba在训练效率、推理能力与成本控制上实现三重突破。
首先是训练效率上的提升，全面集成SGLang推理框架
。
AReaL-boba是首个拥抱
SGLang的开源训练系统
，大幅优化训练吞吐性能。
（SGLang是一个xAI公司采用的面向复杂语言模型的高性能推理框架，它通过共同设计后端运行时和前端语言，让模型交互更快、更可控。
市面上主流模型和企业都已大规模部署，每天产生数万亿个token
）
对比原始版本，在1.5B模型尺寸上吞吐提升35%，7B模型提升60%，32B模型提升73%。
而且
无缝适配各种计算资源
，既支持单机，也支持大规模分布式训练，突破传统RL训练资源瓶颈。
在
大规模分布式训练效率
上有显著的提升，一个直观的例子：
128卡集群1天完成1.5B模型训练，256卡2天完成7B模型训练。
这样一来，中小团队也能在有限算力下快速迭代模型，真正实现”人人可驾驭强化学习”。
其次，推理能力大幅提升，尤其7B模型性能断层领先。
当前最考验推理模型能力的，无疑是它在数学推理领域的表现。
在这一领域中，AReaL-boba基于
Qwen-R1-Distill-7B
模型，通过大规模强化学习训练，仅用2天即实现SOTA水平——
AIME 2024 61.9分，AIME 2025 48.3分，相比于o1-preview也是大幅领先。
相较于基础模型Qwen-R1-Distill-7B，使用AReaL-boba后模型推理能力也有不少提升——
分别在AIME2024、AIME2025提升6.9、8.6分。
而想要拥有这样一个SOTA级别的推理模型并不难，团队不仅把能开源的都开源了，还有超级详细的技术笔记送上。
团队不仅开源了推理模型，也开源了所有所有训练数据AReaL-boba-106k，以及全部的训练脚本和评估脚本，保证人人可以复现。
而过程中遇到问题也不用担心，在项目官方仓库上，AReaL 团队也放出了极其详细的技术笔记，总结了大量训练中的关键点，包括 PPO 超参数、奖励函数设置、正则化设置、长度上限设置等等。
刷新小模型推理上限的同时，也通过技术透明化推动创新生态。
像我这样一个技术小白，研究一下也能手搓个小模型出来。
最后，使用创新性蒸馏技术，极简数据复现顶尖模型
。
前段时间，QwQ-32B横空出世，其强大的推理性能引发诸多关注。
它在数学推理、编码能力和一般问题解决能力上，超过了一众领先模型，包括DeepSeek-R1-Distilled-Qwen-32B、DeepSeek-R1-Distilled-Llama-70B、o1-mini和原始DeepSeek-R1。
现在AReaL-boba推出超精简训练方案，直接把32B大模型训练的所需成本给打下来。
数据上面，仅需200条数据的AReaL-boba-200数据集。
使用Qwen-32B-Distill基础模型，通过轻量级SFT技术即可复现QwQ-32B的AIME2024效果。
整个计算成本，仅需200美元
。
这一创新让顶级推理能力的训练门槛从“实验室专享”降为”人人可及”，开创了小数据驱动大模型的新范式。
首个完整开源的团队
AReaL团队的核心成员均来自于
蚂蚁研究院强化学习实验室以及清华交叉信息研究院吴翼老师
团队。
上个月，他们初始版本针对1.5B和7B推理模型优化，比如借助AReaL使用RL训练1.5B蒸馏模型，在40小时内超越o1-Preview的数学推理能力。
同样也给出了详细的训练细节。
作为国内第一个完整开源（数据、代码、模型、脚本全开源）的项目团队，他们表示致力于真正实现AI训练的普惠。
其实从此次boba版本的发布也能看出，通过开源开放，让AI训练成为社区共享的基础设施。其三大技术突破（极速训练、推理登顶、低成本复现）形成的技术飞轮，推动强化学习大规模训练的发展。
在项目列表中，他们也揭示了后续的开源计划和目标——
包括异步训练，更快的训练吞吐，更好的数据集和算法，以及代码和Agent智能体能力的支持
。
也是十分期待了。
实际上，蚂蚁的AI研发也非常值得关注，成果SOTA，场景天然，产品还是国民级的。
项目链接：
https://github.com/inclusionAI/AReaL
HuggingFace数据模型地址：
https://huggingface.co/collections/inclusionAI/areal-boba-67e9f3fa5aeb74b76dcf5f0a
一键三连
「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
