【新智元导读】Ilya两年前观点，竟被Nature论文反驳了！来自剑桥大学等团队最新研究发现，所有大模型并不可靠，包括最强o1。
2022年，AI大牛Ilya Sutskever曾预测：「随着时间推移，人类预期和AI实际表现差异可能会缩小」。
然而，一篇最新发表在Nature上的研究表明，事实并非如此！
世界上所有的大模型，甚至指令微调后的LLM，竟是一个「巨大的草台班子」。
论文地址：https://www.nature.com/articles/s41586-024-07930-y来自VRAIN、剑桥等机构研究人员对o1-preview等领先的LLM开启了全方位评测，结果发现：- LLM&人类无法保持一致：人类认为复杂的任务，LLM轻易解决；而对人类小菜一碟的问题，LLM却失败了。- LLM不会「回避」复杂任务，而是强撑面子费力思考半天，最终仍旧答错。
且看CoT「推理王者」o1-preview，既能解决非常复杂的字谜任务，却在超级简单的任务中犯错。
（上）根据所给字母，成功拼出了electroluminescence（电场发光）；（下）回答错误，正确答案是yummy而且，在更具挑战性任务上，o1-mini和o1-preview实际上根本不会做。但为了给一个答案，它们往往耗时50-140多秒，绞尽脑汁去想半天。
要知道，o1系列模型最强大之处在于，使用RL+CoT等策略，实现推理能力暴涨。就连o1都这么不可靠，Claude、Llama等大模型更是如此。
更大参数、更大数据、更长训练时间，外加RLHF、输出过滤审核等技术加持，LLM肉眼可见地性能提升。为了评测当前LLM可靠性，剑桥等机构研究人员将GPT系列、Llama系列、以及Bloom系列32个模型，展开评测。
之所以选择这些模型，是因为它们代表了不同参数规模，并使用RLHF等方法优化的模型1. 难度（不）一致性
2. 任务回避
复杂任务一举攻破，简单任务错误百出
难度一致性上，不得不得承认，LLM确实在人类认为困难的任务上，回答准确率较低。而奇怪的发现是，它们在还没有完全掌握简单任务之前，就能成功完成更复杂的任务。实际上，最新LLM比如o1系列，在高难度实例上有所改进，更是加剧人类预期和LLM能力之间不一致性。这将导致，人类无法确定应该在怎样安全操作条件下，信任大模型。那些经过微调的模型（蓝色），在提示变化方面，表现更加稳定正确，但在与人类任务难度的判断的一致性降低。对于Llama家族来说，没有一个模型能在最简单的难度水平上，达到60%的准确率。唯一例外的是，GPT-4在低难度科学任务上，几乎在中等难度水平上，取得了完美的结果。
如上指标总结了LLM在5个精心选择基准测试上表现，包括简单数字运算、词汇充足、地理知识、多样化科学技能、以信息为中心转换太过自信，不会硬答
其次，「回避」是指LLM偏离问题的回应，或给出类似「我不知道」这样的回答。以往，因为一些安全限制，人们经常吐槽「大模型拒绝回答问题」。而现在，通过scaling算力、规模、数据，和算法优化（指令微调、RLHF）方法，LLM倒是从谨慎回避转变为了给出错误答案。比如，GPT-4比GPT-3错的更离谱，就是因为太过自信，很少回避回答超出自己能力范围的问题。最坏的结果是，那些过度依赖LLM解决不擅长任务的用户，会逐渐对它丧失信任。那么，大模型这种回避倾向，会随着任务难度提高而增加吗，就像人类那样「知难而退」？这样一来，对于人类来说，验证大模型输出结果，又多了一大负担。如下图所示，GPT-3.5 Turbo不会回避复杂问题现象，更为明显，越有难度越激进。Llama系列更是如此......提示词，不通用
前者的问题在于，那些在复杂任务中表现优异的提示词，被复用到简单任务中时，模型竟无法输出正确的结果。后者的问题在于，对于相同的任务，但采用不同的提示词时，模型就会输出错误的结果。而且，同样一道题，用不同提示来询问，也会影响模型输出的结果。下表中呈现了，经过微调的模型通过对「提示变化」并不敏感。而再从上图中scaling数据中，观察这一维度的演变，就能发现原始模型（GPT-3 davinci）和GPT家族其他模型，存在很大差异。原始GPT和所有Llama模型，对提示词高度敏感，即使在「加法」这样高度明确任务中，也是如此。而且，难度似乎对敏感性影响不大。对于简单的任务，原始模型（特别是GPT-3 davinci和Llama模型）只有通过精心挑选的提示才能解答。对于那些经过微调后的模型，即最后6个GPT模型和最后3个Llama Chat模型，却发生了实质性变化。这些模型表现更加稳定，但在不同难度水平上，结果仍存在变数。
通过人类反馈强化学习后的LLM，可靠性有所改进吗？在人类意识到很难的应用领域中，对于LLM输出结果，往往会表现出一种「不懂装懂」的样子。「心里OS：我也不懂怎么解，或许LLM回答就是对的」。他们通常会将不正确的结果，也视为正确答案。这种判断误差，导致大模型的RLHF，也是越来越离谱。甚至，对于简单任务而言，也不存在一个既能保证AI低错误率，又能保证人类监督低错误率的「安全操作空间」。
Lexin Zhou在剑桥大学获得计算机科学硕士学位，由Andreas Vlachos教授指导。此前，在瓦伦西亚理工大学完成了数据科学学士学位，导师是Jose Hernandez-Orallo教授。就读期间，他曾在Meta AI、OpenAI、Krueger AI安全实验室实习，并在VRAIN和欧盟委员会JRC等机构，担任AI评估的研究/咨询角色。他称自己大部分时间都在思考：
（1）设计具有解释和预测能力的稳健评估方法，以评估AI的能力、局限性和风险；
（2）寻找积极塑造AI系统的可靠性和可预测性的途径。此外，他还对AI的社会影响、心理测量学、认知科学和AI安全性广泛感兴趣，尤其对LLM这样的通用系统特别感兴趣。
为了更好地展示LLM存在不可靠性问题——难题能答对但在简单题目上翻车（难度不一致性），无法回避超出模型能力的任务（任务回避），以及对提示词的稳定性，论文还附上了补充测评的结果。研究人员针对o1-mini、o1-preview、Claude 3.5 Sonnet和Llama 3.1 405B Instruct Turbo做了数十个真实的评测，部分结果如下。难度不一致性
在这里，每个LLM分别展示了1～2对示例，其中每对首先包含一个成功解决的困难任务，另一个是同一领域的、但LLM犯错的简单任务。比如，o1-preview在字谜任务中，可以识别出「tnelcccerneiumleoes」是单词「electroluminescence」的顺序颠倒，但对字谜「myyum」，却给出了错误的响应「mummy」。o1-preview
o1-mini
简单任务，回答错误（正确答案是17-07-2004）Claude 3.5 Sonnet
Llama 3.1 405B Instruct Turbo
任务回避
研究者从LLM无法解决的多个领域中随机提取了一些非常有挑战性的问题，结果发现，模型的响应始终过于自信。o1-mini和o1-preview通常会花费50～140秒，甚至更长的时间来思考这些任务（最终也没有做对），而不是简单地说「我无法解决这个问题」。o1-preview
在这道加法题上，o1-preview思考了55秒，然后给出了一个错误答案。类似的题型，o1-preview这次思考了长达102秒，但还是做错了。对于下面这道具有挑战性的转换任务，o1-preview花了80秒的时间来计算这个「错误答案」。o1-mini
o1-mini只用了22秒，就给出了这道单词重组游戏的「错误答案」。
（正确答案是entrepreneurialism）在地理任务上，更是只用了几秒的时间，但答案依然不对。
Claude 3.5 Sonnet
同样的问题，Claude 3.5 Sonnet也没做出来。
Llama 3.1 405B Instruct Turbo
Llama 3.1 405B Instruct Turbo也不出意外地败下阵来。
（正确答案是compartmentalisation）提示稳定性
在这里，研究人员证明，对于相同的问题，如果采用不同的提示词，模型给出的回答也会不一样。以下所有例子都遵循相同的模式：首先是一个得到正确答案的提示词示例，紧接着是一个询问相同问题但使用不同提示词的示例，而后者得到的却是错误的答案。o1-preview
o1-mini
Claude 3.5 Sonnet
Llama 3.1 405B Instruct Turbo
这些例子表明，目前LLM对于提示词的稳定性依旧不理想，将相同的问题换个说法，就可能导致模型答案发生显著变化。作者希望，未来在通用AI设计和开发方面，尤其是那些需要精确控制错误分布的高风险领域，需要进行根本的变革。而且，在实现这一目标之前，研究人员必须警惕，过度依赖人类监督所带来潜在风险。https://docs.google.com/document/u/0/d/1SwdgJBLo-WMQs-Z55HHndTf4ZsqGop3FccnUk6f8E-w/mobilebasic?_immersive_translate_auto_translate=1https://x.com/lexin_zhou/status/1838961179936293098https://www.nature.com/articles/s41586-024-07930-yhttps://lexzhou.github.io/
