推理时对齐的悲观主义：如何让AI不走捷径 查看图片 //@爱可-20250401074849

推理时对齐的"悲观主义"：如何让AI不走捷径 查看图片 // @爱可可-爱生活 :本文创新性地提出了 InferenceTimePessimism 算法，通过引入“悲观主义”原则和拒绝抽样，有效克服了 Best-of-N 算法在推理时对齐中存在的奖励模型过度优化问题，实现了计算量单调提升的性能，并从理论上揭示了预训练策略覆盖范围在推理时对齐中的关键作用，为未来高效且鲁棒地利用推理时计算资源提供了新的方向。