《Current Best Practices for Training LLMs from Scratch》是由Weights & Biases（W&B）提供的 一份关于从头开始训练大型语言模型（LLMs）的权威指南 。这份白皮书深入剖析了LLMs训练的最佳实践，内容覆盖了从 数据收集与处理、模型架构选择、训练技巧与优化策略，到模型评估与部署 等各个环节。

核心内容：

1. 是否从头开始训练LLM： 指南首先讨论了是否应该自己从头开始训练一个LLM，还是使用现有的商业API或开源LLM 。

2. 训练LLM的三种基本方法：

• 使用商业LLM的API，例如GPT-3。

• 使用现有的开源LLM，例如GPT-J。

• 自己预训练LLM，可以是自己管理训练或雇佣LLM顾问和平台 。

这份指南适合对自然语言处理和机器学习感兴趣的读者，尤其是那些想要了解LLMs训练最新进展的研究者和实践者。