有空读 LLM Post-Training：深入探究大型语言模型-20250305073013

有空读 LLM Post-Training：深入探究大型语言模型的推理（A Deep Dive into Reasoning Large Language Models）

摘要：

大型语言模型 (LLM) 已经改变了自然语言处理领域，并为各种应用带来了生机。对大量网络规模数据的预训练为这些模型奠定了基础，但研究界现在越来越多地将重点转向后训练技术，以实现进一步的突破。

虽然预训练提供了广泛的语言基础，但后训练方法使 LLM 能够完善其知识、改进推理、提高事实准确性，并更有效地与用户意图和道德考虑保持一致。微调、强化学习和推理时间扩展已成为优化 LLM 性能、确保稳健性和提高各种实际任务适应性的关键策略。

本调查系统地探索了后训练方法，分析了它们在改进 LLM 方面的作用，超越了预训练，解决了灾难性遗忘、奖励黑客和推理时间权衡等关键挑战。我们重点介绍了模型对齐、可扩展适应和推理时间推理方面的新兴方向，并概述了未来的研究方向。

我们还提供了一个公共存储库，以持续跟踪这个快速发展的领域的发展：github.com/mbzuai-oryx/Awesome-LLM-Post-training

论文：arxiv.org/abs/2502.21321

#ai创造营# #deepseek# #科技#