DeepSeek-R1持续刷屏，连Open R1都来了！抱抱脸发起，1天狂揽1.9k星

鱼羊 发自 凹非寺
量子位 | 公众号 QbitAI

当初OpenAI抛出Sora大饼，一时间Open Sora项目热火朝天。

现在，这股Open的风也是反向吹起来了，最新目标，正是国产大模型 DeepSeek-R1 。

Open R1项目由HuggingFace发起，联合创始人兼CEO Clem Delangue是这么说的：

HuggingFace振臂一呼，立刻欢呼者众。项目上线仅1天，就在GitHub上刷下1.9k标星。

看来这一波，DeepSeek-R1真是给全球大模型圈带来了不小的震撼，并且影响还在持续。

Open R1

不过话说回来，DeepSeek-R1本身就是开源的，HuggingFace搞这么个“Open R1”项目，又是为何？

官方在项目页中做了解释：

HuggingFace表示，将以DeepSeek-R1的技术报告为指导，分3个步骤完成这个项目：

• 第1步：用DeepSeek-R1蒸馏高质量语料库，来复制R1-Distill模型。

• 第2步：复制DeepSeek用来构建R1-Zero的纯强化学习 （RL） pipeline。这可能涉及为数学、推理和代码整理新的大规模数据集。

• 第3步：通过多阶段训练，从基础模型过渡到RL版本。

结合DeepSeek的官方技术报告来看，也就是说，Open R1项目首先要实现的，是用R1数据蒸馏小模型，看看效果是不是像DeepSeek说的那么好：

DeepSeek开源了6个用R1蒸馏的小模型，其中蒸馏版Qwen-1.5甚至能在部分任务上超过GPT-4o。

接下来，就是按照DeepSeek所说，不用SFT，纯靠RL调教出R1-Zero，再在R1-Zero的基础上复刻出性能逼近o1的R1模型。

其中多阶段训练是指，R1技术报告提到，DeepSeek-R1训练过程中引入了一个多阶段训练流程，具体包括以下4个阶段：

• 冷启动

用数千个长思维链 （CoT） 样本对基础模型进行监督微调 （SFT） ，为模型提供初始的推理能力

• 面向推理的强化学习

在第一个SFT阶段的基础之上，用和训练R1-Zero相同的大规模强化学习方法，进一步提升模型的推理能力，特别是应对编程、数学、科学和逻辑推理任务的能力。

• 拒绝采样和监督微调

再次使用监督微调，提升模型的非推理能力，如事实知识、对话能力等。

• 针对所有场景的强化学习

这次强化学习的重点是让模型行为与人类偏好保持一致，提升模型的可用性和安全性。

目前，在GitHub仓库中，已经可以看到这几个文件：

• GRPO实现

• 训练和评估代码

• 合成数据生成器

奥特曼坐不住了

有意思的是，R1刷屏之中，奥特曼也坐不住了。