本文揭示了大型语言模型在指令微调中并非总是“更好的教师”这一反直-20241118055923

本文揭示了大型语言模型在指令微调中并非总是“更好的教师”这一反直觉的“大型模型悖论”，并提出了一种新的兼容性调整奖励 (CAR) 指标，有效地解决了选择响应生成器的难题，提高了指令微调的效率。