白话DeepSeek-R1论文（二） | DeepSeek-R1：从DeepSeek-R1-Zero到更强的推理模型

在上篇文章中，我们探讨了 DeepSeek-R1-Zero ，一个通过 强化学习（RL） “自学成才”的AI推理模型 。它能够在没有监督学习的支持下，展示出令人惊艳的推理能力，就像一个天才少年，通过不断的自我努力，最终获得了推理的“魔法”。然而，这个天才在成长过程中也不可避免地遇到了一些小问题，比如推理过程的可读性差和语言混合等，就像“偏科”的学生，擅长某一门学科，却在其他领域有所欠缺。

为了让这个“推理天才”更加完美、更接地气，DeepSeek团队推出了 DeepSeek-R1 ——这款升级版的AI模型，代表了从“自学成才”到“全面发展”的飞跃。通过引入“冷启动数据”和“多阶段训练”方法， DeepSeek-R1 不仅保留了 DeepSeek-R1-Zero 的强大推理能力，还通过系统的“精雕细琢”过程，提升了它的综合表现，使其更加成熟、稳健，并能够处理更复杂、更具挑战性的任务。

R1的“升级秘籍”：冷启动数据 + 多阶段训练

如果说 DeepSeek-R1-Zero 是“野蛮生长”，那么 DeepSeek-R1 就是“精雕细琢”。通过精心设计的 冷启动数据 和 多阶段训练 ， DeepSeek-R1 不仅在推理能力上有了突破，表现也更具稳定性和实用性。我们可以将其比作一个学生从“自学”阶段过渡到“系统学习”，逐步打下坚实的基础，能力逐步扩展，最终实现“全能学霸”般的综合素质。

1. “冷启动数据”：就像有老师傅带你入门，起跑线就领先！

你是否想过，学习一项新技能时，自己摸索和找个老师傅带你入门，哪个效率更高？当然是找老师傅，经验和指导会让你少走弯路。 DeepSeek-R1 的“冷启动数据”就类似于这样的“老师傅”。这部分数据并不是随意的，而是由人类专家精心设计的“思考链条”（CoT）样本，类似于教科书中的例题，展示了推理的最佳步骤和解决问题的策略。通过学习这些“例题”， DeepSeek-R1 能够提前获得推理的“正确姿势”，避免像 DeepSeek-R1-Zero 那样完全依赖随机探索。

举个例子：就像教AI解数学题，“冷启动数据”会告诉它在面对几何问题时“先画图”，遇到应用题时“先分析题意”。这些人类总结出来的经验能够帮助AI快速进入状态，迅速掌握推理的规则和技巧。

2. “多阶段训练”：循序渐进，步步为营，打造全能AI

“冷启动数据”提供了一个良好的开端，但要成为一个推理高手， DeepSeek-R1 还需要经历系统的训练过程。就像从小学到大学的成长一样， DeepSeek-R1 的训练分为四个阶段，每个阶段都旨在强化不同的能力：

• 阶段一：打基础——冷启动SFT
  就像学生的“基础课程”，在这一阶段， DeepSeek-R1 通过冷启动数据，使用监督微调（SFT）方法，帮助它初步掌握推理能力。就像小学阶段学会基本的数学运算和语言表达，R1会在这一阶段完成推理的初步训练。

• 阶段二：攻难题——推理导向的RL
  进入“中学阶段”， DeepSeek-R1 开始攻克更复杂的推理难题。通过强化学习（RL），R1的推理能力得到进一步提升，尤其在数学、编程、科学、逻辑推理等方面。在这一阶段，加入了 语言一致性奖励 ，类似于老师纠正发音，确保R1在处理不同语言时不出现“语言混合”问题。

• 阶段三：扩知识面——拒绝采样 + SFT
  到了大学阶段， DeepSeek-R1 的训练进入更广泛的知识领域。在这个阶段， DeepSeek-R1 不仅会做推理题，还开始学习如何撰写文章、回答各种问题，成为真正的“通才”。训练过程中，模型生成大量的推理样本，通过“拒绝采样”机制筛选出最佳答案，以提高训练效率。

• 阶段四：全面发展——全场景RL
  最后的阶段是“实习阶段”， DeepSeek-R1 通过多样化的奖励信号进行全场景强化学习训练。它不仅在推理任务中表现出色，还能处理各种复杂的现实问题，具备了良好的“实用性”和“无害性”，真正成为一个可靠的AI助手。

3. R1的“成绩单”：全面能力提升，堪称“学霸”！

通过“冷启动数据”和“多阶段训练”的魔鬼训练， DeepSeek-R1 的能力得到了质的飞跃！在各类“考试”中，它都表现得非常出色，堪称AI领域的“学霸”：

• 推理能力更强 ：在 AIME 2024 数学竞赛中， DeepSeek-R1 的Pass@1得分高达 79.8% ，超越了 OpenAI的最新模型GPT-4-0125 ！在更难的 MATH-500 数据集上， DeepSeek-R1 也取得了**97.3%**的Pass@1得分，展现出顶尖的数学推理能力。

• 代码能力突飞猛进 ：在 Codeforces 编程竞赛中， DeepSeek-R1 的表现超过了**96.3%**的人类参赛者！这意味着它不仅能够理解代码，还能够编写代码，解决复杂的编程问题。

• 知识面更广，博学多才 ：在 MMLU 、 GPQA Diamond 等知识类任务中， DeepSeek-R1 表现出色，掌握了广泛的知识领域，能够回答各种问题。

• 开放生成能力更强，更“会说话” ：在 AlpacaEval 2.0 和 ArenaHard 等开放式生成任务中， DeepSeek-R1 取得了显著提升，能够生成更流畅、更自然的文本，像一个“真人”一样和你交流。

  
  

  

总结：DeepSeek-R1的华丽转身

DeepSeek-R1 不仅继承了 DeepSeek-R1-Zero 的强大推理能力，还通过引入“冷启动数据”和“多阶段训练”克服了原有的不足，实现了全面能力的提升。它就像一个从“偏科天才”成长为“全能学霸”的学生，不仅擅长解难题，还能写文章、搞科研，真正具备了在各种实际应用中为人类提供服务的能力。

通过这一系列的创新和进化， DeepSeek-R1 无疑为推理模型的未来发展打开了新的大门，展现出AI领域的巨大潜力。

参考

https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf