Stable-SPAM： 4-bit训练比16-bit Adam-20250302064648

Stable-SPAM： 4-bit训练比16-bit Adam更稳定的突破 查看图片 // @爱可可-爱生活 :本文提出了 Stable-SPAM 优化器，通过自适应梯度归一化和裁剪等创新技术，显著提升了 4-bit 低精度训练大型语言模型的稳定性，使其性能不仅超越了传统 Adam 优化器，甚至在某些情况下超越了 BF16 训练的 Adam，有力地证明了在低精度训练中，稳定性优化能够带来突破性的性能提升，并为高效低成本的 LLM 训练开辟了新路径。