Subbarao Kambhampati 亚利桑那州立大学 计算与增强智能学院
本文发表于《纽约科学院年鉴》
https://nyaspubs.onlinelibrary.wiley.com/doi/10.1111/nyas.15125
大语言模型（LLMs），基本上是经过强化训练的 n-gram 模型，它们在网络规模的语言语料库（实际上，可以说是我们文明的知识库）上进行了训练，展现出了一种超乎预期的语言行为，引发了我们的广泛关注。从训练和操作的角度来看，LLMs 可以被认为是一种巨大的、非真实的记忆库，相当于为我们所有人提供了一个外部的系统 1（见图 1）。然而，它们表面上的多功能性让许多研究者好奇，这些模型是否也能在通常需要系统 2 能力的规划和推理任务上表现出色。
从 LLMs 的训练和使用来看，似乎没有任何迹象表明它们能进行任何形式的
原理性推理（这通常涉及到复杂的推理/搜索过程）
。
LLMs 擅长的是一种通用的近似检索。
不同于数据库那样精确索引和检索数据，LLMs 作为 n-gram 模型，通过逐词概率重构来完成对提示词的补全，这一过程我们称之为近似检索。这意味着 LLMs 甚至不能保证完全记住答案，这正是它们能够即兴构建“新颖”提示补全的魅力所在。LLMs 的优点（“创造性”）和缺点（“幻觉”）在于，作为 n-gram 模型，它们在严格记忆方面几乎和我们一样面临困难。这正是它们吸引人的根本所在。
尽管如此，《大语言模型是零样本 ⟨插入你的推理任务⟩》几乎成为了一种流行的论文标题！在某种程度上，这种趋势似乎是不可避免的，
在 LLMs 的时代，AI 已经变成了一种类似自然科学的形式——通过观察这些庞大系统的能力来推动研究。
那么，这些经过强化训练的 n-gram 模型真的能进行规划和推理吗？在 2022 年夏天，当我的研究小组想要更深入地探讨这个问题时，大多数关于推理的说法还只是基于个别案例。因此，我们开始对 GPT3 在国际规划竞赛（IPC）常用领域中派生的一系列规划实例进行评估——包括著名的 Blocks World。我们的研究结果与关于 LLMs 规划能力的个别案例说法相反，当我们公开这些结果时，引起了 AI 领域的广泛关注。
图 1：非正式地将 LLM 视为一个巨大的外部非真实记忆库，充当一个类似系统 1 的角色
到了 2023 年初，随着 ChatGPT 的广泛发布，以及后来的 GPT4，关于 LLMs 在推理和规划方面能力的讨论更加频繁，包括一些经过同行评审的论文。因此，我们决定在 GPT3.5 和 GPT4 上重复我们的测试。初步结果显示，从 GPT3 到 GPT3.5 再到 GPT4，生成的计划的准确性有所提高，GPT4 在 Blocks World 中的实际准确率达到了 30%（尽管在其他领域仍有待提高）。我们接下来想要探究，这种适度的改进是否源于近似检索能力的提升，或者 GPT4 实际上在进行规划搜索。
让我们暂时关注一个问题：我在这里不是要探讨大语言模型（LLMs）是否能通过记忆和模式识别来“伪造”推理能力，而是它们是否具备真正的原理性推理能力。当然，能在推理问题中发现模式本身就是一项不容小觑的能力。毕竟，对这种能力的追求是我们热衷于“街头数学”（比如 George Pólya 的《如何解题》）的重要原因。但是，仅仅找到一种近似的解决方法，并不能等同于进行了真正的推理——除非你能从基本原理出发证明你的直觉是正确的。判断一个系统（或人类）是在记忆还是从零开始解决问题非常有挑战性——尤其是当它们接受越来越大的“问题库”训练时。这是大多数教师和面试官都非常清楚的一个挑战。想想那个著名的“为什么井盖是圆的？”面试问题。虽然它可能在最初提出时确实能够考察到候选人的分析推理能力，但现在它更多的是检验候选人是否针对面试题库进行了准备！
考虑到大语言模型（LLMs）不像人类那样有自己的生活限制，因此它们可以长时间专注于测试或面试的准备，从而支持在大规模网络语料库上进行近似检索。我的研究小组想要验证 GPT-4 性能的提升是因为从更大的训练语料库中进行近似检索，还是真的源于它的规划能力。一种验证规划任务的方法是通过混淆规划问题中的动作和对象名称来降低近似检索的效果。当我们在测试领域进行这样的操作时，GPT-4 的实际性能急剧下降，尽管标准的现成 AI 规划器对这种混淆并不感到困扰。
也许它们不能直接出厂就自主进行规划，但给予一些小小的推动后能否做到呢？大致有两种流行的推动技术。第一种，称为“微调（fine tuning）”，相当直接：就是在规划问题（即实例及其解决方案）上对一个通用的大语言模型进行微调，希望它们能够随后做出更好的预测（见图 1 左侧）。虽然我们自己的有限实验没有显示出通过微调有显著的改进，但有可能通过更多的微调数据和努力，大语言模型的预测质量可能会提高。但所有这些微调所做的，只是将规划任务转化为基于记忆的近似检索（类似于从系统 2 到系统 1 的记忆/编译；见图 1）。这并没有证明大语言模型具备规划能力。
提高规划（和推理）性能的第二种方法是通过提示，让大语言模型回过头来，给出关于如何改进其最初规划猜测的提示/建议。这里的关键问题包括：（a）这种回提示是手动的还是自动的（b）谁来证明最终答案的正确性以及（c）提示是否注入了额外的问题知识或仅仅是在鼓励大语言模型再试一次。
我们提倡的最清晰的方法是让一个外部的基于模型的规划验证器来进行回提示，并证明最终解决方案的正确性。一般来说，这样的LLM-Modulo 框架可以利用大语言模型惊人的创意生成能力与可靠的外部验证器在一个有保障的生成-测试-批评框架中有效结合。
相比之下，迄今为止更受欢迎的方法是让人类在循环中迭代地提示大语言模型。这种方法的问题在于，它非常容易受到 Clever Hans（一匹能做算术的马，其实是依靠人类细微动作的提示。） 效应的影响，其中大语言模型仅仅是生成猜测，而循环中的人类，凭借对正确与错误解决方案的知识，实际上是在引导大语言模型——即使他们没有有意这样做。如果有的话，确保准确性的功劳和责任完全落在循环中的人类身上。当循环中的人类不知道（或无法验证）他们自己的推理/规划问题的答案时，这种方法的有效性就变得值得怀疑。因此，图 2 对大语言模型推理能力的嘲讽性描述。
图 2: 大语言模型(LLMs)所声称的推理能力，有时实际上是因为参与其中的人类在不知不觉中通过迭代提示给予的帮助
一种改进的方法是让大语言模型(LLM)自己对其生成的猜想进行“批判”并不断自我完善。虽然有些研究论文坚信大语言模型具备这种“自我提升”的能力，但这种观点的可信度基于一个前提：相信大语言模型在验证自己的解决方案时比生成解决方案更为精准。这种假设虽未明确证实，但基于对人类行为的类比或对计算复杂性的间接引用而成立。人类确实有时能通过自我批判纠正错误的猜想，但在大语言模型中并没有这种假设的依据。尽管对于许多计算任务（例如，属于NP类的任务），验证的复杂度通常低于生成，但这一事实对于主要通过生成（或近似检索）猜想而非确保解决问题的大语言模型而言，并不特别相关。实际上，我实验室最近的两项研究——一项是关于计划验证[10]，另一项是关于约束验证[9]——显示了“自我验证”实际上可能导致性能下降，这对于这种乐观观点是一个冷水浇头。这是因为大语言模型在验证自己生成的解决方案时，会产生错误的肯定和否定。之前的文献中没有认识到这一点，是因为自我验证的声明通常是在难以验证的默会知识任务背景下提出的（例如，写作/改进文章），这使得评估大语言模型的批判性是否真的有帮助变得更加困难。矛盾的是，由于编写针对默会知识任务的可靠验证器几乎不可能，这也让人们更容易错误地认为大语言模型是一个合理的批评者！在其他情况下，一个外部模拟器承担了可靠验证的角色。
尽管上述问题对大语言模型具备规划/推理能力的说法提出了质疑，但这并不意味着大语言模型在解决规划/推理任务中没有任何积极作用。特别是，它们生成想法/潜在解决方案的独特能力——虽然这些猜想没有任何保证——在“大语言模型-模块”设置中，结合模型基础的验证器或参与其中的专家人类，仍然非常有价值。避免错误地将自主推理能力归咎于大语言模型的关键是认识到，大语言模型生成的潜在答案仍然需要外部验证器的检验。
怀疑的读者可能会问：那些在顶级AI会议上声称展示大语言模型规划能力的论文怎么办？要分析这些论文的说法，我们首先需要明白，解决规划任务需要（a）具备必要的规划领域知识——动作及其前提条件、效果；标准的层次化配方（例如，在层次任务网络规划中的任务简化模式），过往案例/计划等，以及（b）能够将这些知识组织成一个考虑到所有子目标/资源交互的可执行计划。前者可以称为知识获取阶段，后者则是推理/规划阶段。细看那些声称大语言模型具备规划能力的论文，往往是将从大语言模型中提取的一般规划知识误认为是可执行计划。当我们只是寻找如“婚礼计划”这样的抽象计划，而没有实际执行这些计划的意图时，很容易将它们误认为是完整的可执行计划。实际上，我们对几篇声称大语言模型具有规划能力的论文进行了仔细审查[7]，发现它们要么是在可以安全忽略子目标交互的领域/任务中进行评估，要么是将交互解决（推理）的任务委托给了参与其中的人类（他们通过重复提示来“纠正”计划）。有时，在常识领域，或经过充分的微调后，通过观察到一个与需要解决的问题几乎完全对应的案例，也可以省去“组装”阶段。如果没有这些假设或缓解措施，大语言模型输出的计划可能看似合理，但在执行时会遇到交互问题和错误。这一点在最近关于旅行规划书籍泛滥的新闻报道中得到了体现[8]，这些书籍大多是从大语言模型自动提取的，而那些不知情的终端用户购买它们时却误以为这些是可行的计划！
