从分布中提取判断：让AI评价更准确
查看图片
//
@爱可可-爱生活
:本文创新性地指出，在LLM Judge任务中，充分利用LLM输出的判断分布（特别是均值）比仅依赖文本界面（众数）更有效，并反直觉地发现链式思考（CoT）在某些评估场景下可能损害性能，强调了挖掘LLM输出分布信息以提升评估准确性和校准性的重要性，为LLM Judge的实践应用提供了重要的方法论和实践指导。
查看图片
//
@爱可可-爱生活
:本文创新性地指出，在LLM Judge任务中，充分利用LLM输出的判断分布（特别是均值）比仅依赖文本界面（众数）更有效，并反直觉地发现链式思考（CoT）在某些评估场景下可能损害性能，强调了挖掘LLM输出分布信息以提升评估准确性和校准性的重要性，为LLM Judge的实践应用提供了重要的方法论和实践指导。
[CL]《Improving LLM-as-a-Judge Inference with the Judgment Distribution》V Wang, M J.Q. Zhang, E Choi [The University of Texas at Austin & New York University] (2025)
