本文提出了一个名为InfAlign的推理感知语言模型对齐框架，通-20241231050927

本文提出了一个名为InfAlign的推理感知语言模型对齐框架，通过对奖励函数进行转换，能够针对特定的推理时程序优化模型胜率，并提供了一个实用的算法CTRL，实验证明其优于现有方法；特别地，发现BoN和WoN的最优奖励转换独立于基本策略和奖励模型，以及标准胜率优化对于推理时胜率是次优的，这些观点颇具启发性。