专栏名称: Dots机构投资者社区

机构投资者组成的社区，深度点评财经事件

全球掀DeepSeek复现狂潮！硅谷巨头神话崩塌，30刀见证啊哈时刻

Dots机构投资者社区 · 公众号 · · 2025-01-28 08:15

正文

本文转自微信公众号“新智元”，作者：新智元。

编辑：编辑部 HYZ

【导读】网上已经出现了一波复现DeepSeek的狂潮。UC伯克利、港科大、HuggingFace等纷纷成功复现，只用强化学习，没有监督微调，30美元就能见证「啊哈时刻」！全球AI大模型，或许正在进入下一分水岭。

这些天，硅谷彻底处于中国公司带来的大地震余波中。

全美都在恐慌：是否全球人工智能的中心已经转移到了中国？

就在这当口，全球复现DeepSeek的一波狂潮也来了。

诚如LeCun所言：「这一次，正是开源对闭源的胜利！」

在没有顶级芯片的情况下，以极低成本芯片训出突破性模型的DeepSeek，或将威胁到美国的AI霸权。

大模型比拼的不再是动辄千万亿美元的算力战。

OpenAI、Meta、谷歌这些大公司引以为傲的技术优势和高估值将会瓦解，英伟达的股价将开始动摇。

种种这些观点和讨论，让人不禁怀疑：数百亿美元支出，对这个行业真的必要吗？甚至有人说，中国量化基金的一群天才，将导致纳斯达克崩盘。

从此，大模型时代很可能会进入一个分水岭：超强性能的模型不再独属于算力巨头，而是属于每个人。

30美金，就能看到「啊哈」时刻

来自UC伯克利博士生潘家怡和另两位研究人员，在CountDown游戏中复现了DeepSeek R1-Zero。

他们表示，结果相当出色！

实验中，团队验证了通过强化学习RL，3B的基础语言模型也能够自我验证和搜索。

更令人兴奋的是，成本不到30美金（约217元），就可以亲眼见证「啊哈」时刻。

这个项目叫做TinyZero，采用了R1-Zero算法——给定一个基础语言模型、提示和真实奖励信号，运行强化学习。

然后，团队将其应用在CountDown游戏中（这是一个玩家使用基础算术运算，将数字组合以达到目标数字的游戏）。

模型从最初的简单输出开始，逐步进化出自我纠正和搜索的策略。

在以下示例中，模型提出了解决方案，自我验证，并反复纠正，直到解决问题为止。

在消融实验中，研究人员运行了Qwen-2.5-Base（0.5B、1.5B、3B、7B四种参数规模）。

结果发现，0.5B模型仅仅是猜测一个解决方案然后停止。而从1.5B开始，模型学会了搜索、自我验证和修正其解决方案，从而能够获得更高的分数。

他们认为，在这个过程，基础模型的是性能的关键。

他们还验证了，额外的指令微调（SFT）并非是必要的，这也印证了R1-Zero的设计决策。

这是首个验证LLM推理能力的实现可以纯粹通过RL，无需监督微调的开源研究

基础模型和指令模型两者区别：

指令模型运行速度快，但最终表现与基础模型相当
指令输出的模型更具结构性和可读性

此外，他们还发现，具体的RL算法并不重要。PPO、GRPO、PRIME这些算法中，长思维链（Long CoT）都能够涌现，且带来不错的性能表现。

而且，模型在推理行为中非常依赖于具体的任务：

对于Countdow任务，模型学习进行搜索和自我验证
对于数字乘法任务，模型反而学习使用分布规则分解问题，并逐步解决

苹果机器学习科学家Yizhe Zhang对此表示，太酷了，小到1.5B的模型，也能通过RL涌现出自我验证的能力。

7B模型复刻，结果令人惊讶

港科大助理教授何俊贤的团队（共同一作黄裕振、Weihao Zeng），只用了8K个样本，就在7B模型上复刻出了DeepSeek-R1-Zero和DeepSeek-R1的训练。

结果令人惊喜——模型在复杂的数学推理上取得了十分强劲结果。

项目地址：https://github.com/hkust-nlp/simpleRL-reason

他们以Qwen2.5-Math-7B（基础模型）为起点，直接对其进行强化学习。

整个过程中，没有进行监督微调（SFT），也没有使用奖励模型。

最终，模型在AIME基准上实现了33.3%的准确率，在AMC上为62.5%，在MATH上为77.2%。

这一表现不仅超越了Qwen2.5-Math-7B-Instruct，并且还可以和使用超过50倍数据量和更复杂组件的PRIME和rStar-MATH相媲美！

其中，Qwen2.5-7B-SimpleRL-Zero是在Qwen2.5-Math-7B基础模型上仅使用纯PPO方法训练的，仅采用了MATH数据集中的8K样本。

Qwen2.5-7B-SimpleRL则首先通过Long CoT监督微调（SFT）作为冷启动，然后再进行强化学习。

在这两种方法中，团队都只使用了相同的8K MATH样本，仅此而已。

大概在第44步的时候，「啊哈时刻」出现了！模型的响应中，出现了自我反思。

并且，在这个过程中，模型还显现了更长的CoT推理能力和自我反思能力。

全球掀DeepSeek复现狂潮！硅谷巨头神话崩塌，30刀见证啊哈时刻

正文

【导读】 网上已经出现了一波复现DeepSeek的狂潮。UC伯克利、港科大、HuggingFace等纷纷成功复现，只用强化学习，没有监督微调，30美元就能见证「啊哈时刻」！全球AI大模型，或许正在进入下一分水岭。

请到「今天看啥」查看全文

【导读】网上已经出现了一波复现DeepSeek的狂潮。UC伯克利、港科大、HuggingFace等纷纷成功复现，只用强化学习，没有监督微调，30美元就能见证「啊哈时刻」！全球AI大模型，或许正在进入下一分水岭。