专栏名称: 爱可可-爱生活
知名互联网资讯博主 北邮PRIS模式识别实验室陈老师
目录
相关文章推荐
爱可可-爱生活  ·  视觉触觉融合的双速机器人控制 查看图片 ... ·  昨天  
爱可可-爱生活  ·  《爱可可微博热门分享(3.7)》 ... ·  2 天前  
爱可可-爱生活  ·  晚安~ #晚安# -20250307222726 ·  2 天前  
宝玉xp  ·  回复@zzqq12:如果你们对 Manus ... ·  2 天前  
51好读  ›  专栏  ›  爱可可-爱生活

本文指出在小数据量 LLM 评测中,传统 CLT 方法低估不确定-20250309060949

爱可可-爱生活  · 微博  · AI  · 2025-03-09 06:09

正文

2025-03-09 06:09

本文指出在小数据量 LLM 评测中,传统 CLT 方法低估不确定性导致结果不可靠,并力荐更稳健的贝叶斯方法及特定频率学方法,强调在现代 LLM 评测中应摒弃对 CLT 的迷信,转而采用更严谨的统计方法以确保评估的有效性和科学性,尤其是在面对小规模但至关重要的专业 benchmarks 时。
[LG]《Position: Don't use the CLT in LLM evals with fewer than a few hundred datapoints》S Bowyer, L Aitchison, D R. Ivanova [University of Bristol] (2025) 网页链接 #机器学习#






请到「今天看啥」查看全文