本文创新性地提出了Tapered Off-Policy REIN-20250320053047

本文创新性地提出了Tapered Off-Policy REINFORCE (TOPR) 算法，通过非对称锥形重要性采样，在不依赖 KL 正则化的情况下实现了 LLM Off-Policy强化学习的稳定性和高效性，并证明了负面示例和数据集构成在提升 LLM 推理能力中的关键作用，为 LLM 强化学习微调提供了一种更有效、更实用的方法。