本文深入分析了数学推理中PRM训练数据和评估方法的局限性，指出蒙-20250119061208

本文深入分析了数学推理中PRM训练数据和评估方法的局限性，指出蒙特卡洛估计和Best-of-N评估的偏差，并通过结合LLM-as-a-judge的共识过滤机制，以及响应级和步骤级综合评估，成功训练了性能优越的PRM，揭示了在模型训练中数据质量和评估方法选择的重要性，并强调了创新方法的关键作用。