DeepSeek-R1，通过创新的无监督强化学习和开源策略展现了其独特性，从某种角度来说，已经在模型研发方面从模仿到超越OpenAI了。
1. 后训练与强化学习: DeepSeek-R1在后训练阶段大规模应用了强化学习（RL）技术，尤其是其基础版本DeepSeek-R1-Zero，完全依赖于纯强化学习进行训练，而不使用监督微调（SFT）。这种方法使得模型在极少标注数据的情况下，依然能够显著提升推理能力。
2. 群组相对策略优化（GRPO）: 为了降低RL训练成本，DeepSeek-R1采用了GRPO算法，这一创新使得模型在训练过程中更加高效，避免了传统RL中需要与策略模型大小相同的评论家模型的限制。
3. 无监督强化学习: DeepSeek-R1的最大创新在于其完全依赖于无监督的强化学习进行训练，这一策略在大语言模型领域尚属首次。这种方法不仅降低了对标注数据的依赖，还展示了强化学习在推理能力提升中的潜力。
4. 开源策略使得开发者能够自由使用和改进模型。
DeepSeek-R1在数学、编程和自然语言推理等任务上表现出色，其性能在多个基准测试中与OpenAI o1相当，甚至在某些任务上略有超越。此外，DeepSeek-R1的API定价也非常低![[赞]](https://h5.sinaimg.cn/m/emoticon/icon/others/h_zan-44ddc70637.png)
1. 后训练与强化学习: DeepSeek-R1在后训练阶段大规模应用了强化学习（RL）技术，尤其是其基础版本DeepSeek-R1-Zero，完全依赖于纯强化学习进行训练，而不使用监督微调（SFT）。这种方法使得模型在极少标注数据的情况下，依然能够显著提升推理能力。
2. 群组相对策略优化（GRPO）: 为了降低RL训练成本，DeepSeek-R1采用了GRPO算法，这一创新使得模型在训练过程中更加高效，避免了传统RL中需要与策略模型大小相同的评论家模型的限制。
3. 无监督强化学习: DeepSeek-R1的最大创新在于其完全依赖于无监督的强化学习进行训练，这一策略在大语言模型领域尚属首次。这种方法不仅降低了对标注数据的依赖，还展示了强化学习在推理能力提升中的潜力。
4. 开源策略使得开发者能够自由使用和改进模型。
DeepSeek-R1在数学、编程和自然语言推理等任务上表现出色，其性能在多个基准测试中与OpenAI o1相当，甚至在某些任务上略有超越。此外，DeepSeek-R1的API定价也非常低
#模型时代# Jim Fan：DeepSeek就是OpenAI最初的样子。
英伟达科学家刚发的一个长推，盛赞DeepSeek：
***
我们正身处这样的时间线上：一家非美国公司正在延续 OpenAI 最初的使命——真正的开源、前沿研究，惠及所有人。这听上去匪夷所思。但往往最有趣的结果才是最可能的。
DeepSeek-R1 不仅公开了一大批模型，还披露了所有训练细节。或许他们是首个在强化学习“飞轮”上实现重大且持续增长的开源项目。
产生影响的方式可以是“内部实现 ASI”或者那些带有神秘色彩的名字（例如“Project Strawberry”）。
同样也可以通过简单地泄露原始算法和 matplotlib 学习曲线来产生影响。
我正在阅读这篇论文：
完全依靠强化学习驱动，没有任何 SFT（“冷启动”）。让人联想到 AlphaZero——从零开始精通围棋、日本将棋和国际象棋，而并未先模仿人类大师的棋步。这是全文中最重要的一点。
使用基于硬编码规则计算的真实奖励，避免了任何可能被强化学习策略“破解”的学习型奖励模型。
随着训练的进行，模型的“思考时间”会稳步增加——这不是预先编程的，而是一种涌现属性！
出现了自我反思与探索行为的涌现。
使用 GRPO 而不是 PPO：它去掉了 PPO 的价值网络（critic），改为采用多次采样的平均奖励。这是一种减少内存使用的简单方法。值得注意的是，GRPO 也是 DeepSeek 在 2024 年 2 月发明的……真是支神仙团队。
英伟达科学家刚发的一个长推，盛赞DeepSeek：
***
我们正身处这样的时间线上：一家非美国公司正在延续 OpenAI 最初的使命——真正的开源、前沿研究，惠及所有人。这听上去匪夷所思。但往往最有趣的结果才是最可能的。
DeepSeek-R1 不仅公开了一大批模型，还披露了所有训练细节。或许他们是首个在强化学习“飞轮”上实现重大且持续增长的开源项目。
产生影响的方式可以是“内部实现 ASI”或者那些带有神秘色彩的名字（例如“Project Strawberry”）。
同样也可以通过简单地泄露原始算法和 matplotlib 学习曲线来产生影响。
我正在阅读这篇论文：
完全依靠强化学习驱动，没有任何 SFT（“冷启动”）。让人联想到 AlphaZero——从零开始精通围棋、日本将棋和国际象棋，而并未先模仿人类大师的棋步。这是全文中最重要的一点。
使用基于硬编码规则计算的真实奖励，避免了任何可能被强化学习策略“破解”的学习型奖励模型。
随着训练的进行，模型的“思考时间”会稳步增加——这不是预先编程的，而是一种涌现属性！
出现了自我反思与探索行为的涌现。
使用 GRPO 而不是 PPO：它去掉了 PPO 的价值网络（critic），改为采用多次采样的平均奖励。这是一种减少内存使用的简单方法。值得注意的是，GRPO 也是 DeepSeek 在 2024 年 2 月发明的……真是支神仙团队。
