专栏名称: 新智元

智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。

LLM群体智能崛起，数学性能暴增11.6%！谷歌DeepMind四大机构联手新作

新智元 · 公众号 · AI · 2024-09-22 12:40

主要观点总结

研究发现GPT-4能够提升其他LLM的数学性能，通过一种名为元认知的方式，暴增11.6%。来自多个机构的研究人员联手，发现GPT-4能够帮助其他LLM在数学问题上表现更好。研究人员通过实验证明，技能知识对于改善LLM的推理能力具有重要作用，并通过基于文本和程序的提示方法验证结果。同时，提出了一种LLM提取元认知知识的框架，新框架依赖于高级模型的可用性。

关键观点总结

关键观点1: GPT-4能够通过元认知的方式提升其他LLM的数学性能。

最新研究发现GPT-4能够提升同伴的性能，使数学能力暴涨11.6%。这意味着通过GPT-4的帮助，其他LLM在解决数学问题时能够表现更好。

关键观点2: AI元认知在解决数学问题中的作用。

研究人员提出了一种LLM提取元认知知识的框架，该框架根据解决问题所需的概念对数学数据集中的问题进行分类。实验证明，这种框架能够显著改善LLM的推理能力。

关键观点3: 技能知识在改善LLM性能中的重要性。

研究人员通过实验证明，技能知识对于改善基于文本和程序的提示性能具有重要作用。这些技能表现出强大的可迁移性，能够提升其他数学数据集和LLM的数学推理能力。

关键观点4: 新方法的有效性。

研究人员将新方法与现有方法进行比较，结果表明新方法在性能上取得了显著的进步，超出了标准CoT 11.6%。这些结果凸显了方法的有效性，特别是细粒度技能标签的重要性。

正文

新智元报道

编辑：桃子

【新智元导读】多个LLM联合，可以迈向更强大系统！最新研究发现，GPT-4能够提升同伴的性能，能够让数学能力暴涨11.6%。

AI如何成为「更强的AI」？

最关键还是，得学会「借力」。

来自蒙特利尔大学、剑桥、普林斯顿、谷歌DeepMind四大机构研究人员联手，竟发现：

GPT-4能够帮助其他LLM，在数学性能上暴增11.6%，而且是通过一种「元认知」的方式。

论文地址：https://arxiv.org/pdf/2405.12205

在这个过程中，GPT-4可以始终如一地，标记数学问题所需的解决技能。

当LLM获得了由GPT-4生成的技能标签时，它们在解决相应的数学问题时，就会得到相应地表现得更好。

有网友做了一个精辟的总结，这便是「群体智能」。

AI元认知，数学最考验

元认知，原本是指，人类对自己思维、推理过程的直观认识。

那么，大模型也具备「元认知」的能力吗？

研究人员对此，提出了一种假设，并设想是否可以通过知识引导，进一步提高LLM的能力。

其实，此前的研究已经表明，大模型表现出一些类人的特征，比如通过CoT一步一步推理。

而且，也有一些研究称，LLM具备了元认知能力。

比如，这篇来自谷歌、UCSD等机构2月论文提出了Ask-LLM，并称想要破译LLM元认知，最直接方法就是——问！

论文地址：https://arxiv.org/pdf/2402.09668

在最新研究中，作者将重点放在了AI元认知，在解决数学问题时，所应用的技能。

因为数学领域中，覆盖了人类丰富的技能目录，从简单的（变量运算、求解方程、掌握函数的概念），到复杂的（定理和证明）。

自动化技能发现

如下图所示，研究人员描述了，让GPT-4根据数学问题，所需的特定技能对数学问题进行分类的自动化过程。

这里一共划分为两个阶段：

首先，创建技能示例仓库。

功能强大的LLM A会用相应地技能，标记每个问题，如下图2（左）中，提供的提示中详细介绍的那样。

接下来，LLM A要求将类似的细粒度技能，组合成广泛的技能集群，代表着复杂的技能。

这大大减少了，第一阶段的独特技能数量，如图2（中）描述的提示。

然后，大模型被要求，将训练集中的所有示例，重新分类为一种后聚类技能。

第二阶段，是推理。

在使用LLM B（其中B可能与A不同），对测试问题进行推理期间，要求LLM B使用技能示例仓库中，一项技能来标记测试问题。

接下来，研究人员从仓库中，获取具有相同技能标签的范例，并向LLM B提供主题上下文示例，以帮其解决测试问题。

举个例子，对于MATH数据集，第一阶段识别了约5000个技能，第二阶段将其减少到117个粗粒度技能。

代表粗粒度技能的随机子集例子被保留作为其技能示例。

针对不同数据集，所列出的技能表，这些技能名称由GPT-4-0613提供。

下图中，展现了一些在数学领域中的技能。

实验结果

接下来，研究人员描述一种LLM在提取元认知知识的程序，这种只是以数学问题技能标注形式呈现。

结果表明，技能知识显著改善了不同数据集上，基于文本和程序的提示性能。

此外，这些技能表现出强大的可迁移性，提升其他数学数据集和LLM的数学推理能力。

具体结果如下所示。

论文中，主要研究了两种主要类型的上下文提示方法，以增强法学硕士的数学推理能力。

首先是，基于文本的提示，利用文本示例来演示解决问题的步骤，思想链（CoT）就是一个很好的例子。

其次是，程序辅助提示，使用程序来展示推理步骤，如程序辅助语言模型 (PAL) 中所示。

表2展示了，MATH数据集上，基于文本的提示结果。

研究人员基于技能的方法采用CoT提示，在MATH数据集中的所有话题中，表现出优于所有其他方法的性能。

研究者利用技能示例库，解决GSM8K数据集中的测试集问题。

结果如表3所示，基于技能的方法在GSM8K数据集上的表现，优于CoT和随机基准方法，并强调了准确技能分配、相关上下文示例在有效问题解决中重要性。

此外，基于技能方法与自洽性，带来了更好的性能。

对于SC实验，研究人员从LLM中采样5个推理链，并选择最频繁的答案。

为了进一步强调所提出方法的有效性，他们将其与Retrieval-RSD方法进行比较，后者也是一种用于少样本提示的相关上下文示例选择方法。

MATH数据集的结果，如表2所示。

对于此分析，研究人员提出的方法采用简单的思想链 (CoT) 方法，其中上下文示例源自技能示例仓库。