昨天的爆款论文,把推理训练玩出花了
#AI创造营#
#ai#
训练 LLM 在潜在空间(latent space)中进行推理
不需要特殊训练数据,且能处理难以用语言描述的推理任务
3.5B 的参数达到了 50B 参数模型的推理基准性能
想起 Andrej Karpathy 前段时间的话
当你的模型生成的思维链不说英语的时候,你就知道你的 RL 做对了
论文地址:arxiv.org/pdf/2502.05171
训练 LLM 在潜在空间(latent space)中进行推理
不需要特殊训练数据,且能处理难以用语言描述的推理任务
3.5B 的参数达到了 50B 参数模型的推理基准性能
想起 Andrej Karpathy 前段时间的话
当你的模型生成的思维链不说英语的时候,你就知道你的 RL 做对了
论文地址:arxiv.org/pdf/2502.05171