LLaVA-o1: 视觉语言模型逐步推理

2.1 使用大型语言模型进行视觉推理

视觉推理需要模型的视觉感知能力和高级认知能力 [22, 37] 。 已有多项任务被用于评估视觉语言模型 (VLMs) 的视觉推理能力，包括需要模型根据视觉内容和文本问题作答的视觉问答 (VQA) [20, 26] ，以及需要模型确定文本描述和视觉内容一致性的视觉蕴涵 (Visual Entailment) [48] 等。

传统的视觉语言模型采用神经符号方法 [5, 11] 来显式地建模视觉推理过程。 随着大语言模型 (LLMs) 的发展，视觉语言模型利用 LLMs 的高级推理能力来解释视觉任务 [32, 59] 。 一些视觉语言模型通过优化视觉编码策略 [29, 32, 21] 来生成关注认知的视觉符元，从而增强视觉推理能力。 一些 VLMs，例如 VISPROG [18] ，将 LLM 定位为决策代理，通过调用各种特定任务的视觉模块来增强复杂视觉任务下的视觉推理能力。 此外，语言模型的指令学习技术，包括提示微调 [61] 、上下文学习和监督微调 [46] ，也有助于提高视觉推理能力。

2.2 大语言模型中的思维链

当 LLM 面对困难的问题（包括常识推理 [44] 、逻辑推理 [55, 27] 等）时，思维链提示提供了一个逐步推理的轨迹。 具体来说，CoT 提示将问题分解成一系列推理步骤，并构建一个链条来引导模型逐步生成复杂问题的答案 [12] 。 最近的研究表明 [52, 15] ，CoT 提示大大提高了 LLM 在推理和可解释性方面的能力。

2.3 推理时间缩放

现有的推理时间缩放方法主要分为两类：一类依赖于外部验证器进行选择 [25, 56] ，另一类则独立于任何外部验证器运行 [19, 53] 。 外部验证器选择方法可以应用于流行的方法。 另一方面，不依赖外部验证者的推理时间缩放方法主要包括多数投票 [19] 、best-of-N搜索 [51, 4] ，以及句子级束搜索 [16, 49] 。 多数投票对于具有标准答案的某些类型的问题是有效的，但不适用于开放式任务。 最佳 N 个搜索会生成 N 个完整的答案，并允许模型选择最佳答案。 然而，生成完整的答案选择会使评估其准确性变得复杂。 基于句子的集束搜索生成多个候选句子，选择最佳句子，并迭代地继续此过程。 然而，这种方法的操作粒度太细，这使得模型难以有效地评估其逐句响应的质量。

3.1 通过结构化思维增强推理能力

我们在训练期间的目标是开发一个能够进行扩展推理链的视觉语言模型，使其能够进行系统而深入的推理。

3.1.2 数据准备和模型训练

大多数现有的VQA数据集缺乏训练 LLaVA-o1 模型所需的详细推理过程。 因此，我们编制了一个新的数据集，整合了来自几个广泛使用的VQA数据集的样本，总共有99k个图像问答对（每个对可能包含一轮或多轮提问）。 如图 3 所示，由于目前尚不存在能够直接产生系统化、结构化推理的多模态模型，我们使用GPT-4o [3] 生成详细的推理过程，包括摘要、标题、推理和结论，并将这些编译到 LLaVA-o1-100k 数据集中，我们计划将其公开发布。 我们包含来自通用VQA数据集和下面指定的科学目标VQA数据集的数据：

Dataset	Type	Size
ShareGPT4V [8]	General VQA	31.3k
ChartQA [38]	General VQA	17.2k
A-OKVQA [45]	General VQA	16.1k
AI2D [23]	Science-Targeted VQA	11.4k
GeoQA+ [7]	Science-Targeted VQA	11.4k
ScienceQA [34]	Science-Targeted VQA	5.6k
DocVQA [39]	General VQA	4.0k
PISC [28]	General VQA	1.0k
CLEVR [22]	General VQA	0.5k
CLEVR-Math [13]	Science-Targeted VQA	0.5k

通用VQA数据集。

我们包含了几个侧重点不同的通用视觉问答（VQA）数据集。 ShareGPT4V [8] 提供了来自GPT-4V [57] 交互的多轮问答数据。 ChartQA [38] 重点在于解读图表。 A-OKVQA [45] 强调了超出可见内容的外部知识。 DocVQA [39] 涉及需要文本理解的基于文档的问题。 我们还包含了 PISC [28] 用于理解社会关系，以及 CLEVR [23] 用于处理物体属性、空间关系和计数任务。

面向科学的VQA数据集。

这些数据集包括用于几何推理的 GeoQA+ [7] ，以及针对科学问题的 AI2D [23] 和 ScienceQA [34] 。 CLEVR-Math [13] 是CLEVR的扩展，侧重于视觉环境中的算术分析。 表格 1 显示了从每个数据集中选择的问答对的数量。

模型训练。

我们构建的 LLaVA-o1-100k 数据集可用于对任何现有模型进行进一步的监督微调 (SFT)，以增强其推理能力。 在这项工作中，我们选择Llama-3.2-11B-Vision-Instruct [40] 模型作为基础模型，并使用 LLaVA-o1-100k 数据集进行全参数微调。 训练在一个配备8个H100 GPU的单节点上进行。

3.2 使用阶段级束搜索有效提升推理时间

训练之后，我们的目标是进一步增强模型在推理过程中的推理能力。 特别地，我们利用 LLaVA-o1 的分阶段输出，这为推理时间缩放提供了理想的粒度。 我们的方法遵循以下步骤：

• •

  为解决方案的第一阶段采样 N 个响应。

• •

  随机抽取2个响应，并让模型确定哪个更好，保留更好的响应。

• •

  重复 N − 1 次，保留最佳响应。

• •

  为下一阶段采样 N 个响应，然后重复步骤2-4，直到所有阶段都处理完毕。

值得注意的是， LLaVA-o1 的结构化输出设计使得这种方法可行 ，从而能够在每个阶段进行高效且准确的验证。 这验证了结构化输出在改进推理时间缩放方面的有效性。 图 4 展示了这三种方法的示例。

我们在图 5 中提供了一个示例。 当不应用推理时间缩放时，尽管模型会生成正确的推理步骤，但在推理过程中却无法得出具体的答案。 这导致模型在结论阶段进行猜测，从而导致结果不正确。 相反，使用推理时间缩放，模型保留了导致最终结果的推理步骤，确保了答案的正确性。

4.1 实验设置

我们为我们的实验选择了六个广泛使用且具有挑战性的基准：MMStar [9] 、MMBench V1.1 [33] 、MMVet [60] 、MathVista [35] 、AI2D [23] 和HallusionBench [17] 。 MMStar、MMBench和MMVet主要评估模型的一般视觉问答能力，而MathVista和AI2D则侧重于模型在数学和科学推理方面的熟练程度。 HallusionBench专门评估模型对语言幻觉和视觉错觉的处理能力。 对于MMBench，我们使用测试集的V1.1版本，MathVista使用testmini集进行评估，其余数据集各有一个测试集。 为确保公平性和可重复性，所有评估均使用VLMEvalKit [14] （一个用于大型视觉语言模型的开源评估工具包）进行。 所有基线模型的性能指标均源自VLMEvalKit的测试结果 [1] 。

4.2 基准测试结果

我们发现， LLaVA-o1 即使只使用10万数据，也能实现显著的性能提升。 根据表 2 ，与基线模型Llama-3.2-11B-Vision-Instruct相比， LLaVA-o1 在通用VQA、数学推理、科学VQA和幻觉控制任务中均表现出显著的改进，基准分数平均提高了 6.9% ，从而验证了我们方法的有效性。

4.3 消融研究

有效性 LLaVA-o1-100k 与原始数据集相比。

为证明我们改进的 LLaVA-o1-100k 数据集的有效性，我们在表 2 中比较了 LLaVA-o1 以及在不同基准测试中使用原始问答对训练的模型。 尽管直接在原始问答对上训练的模型在基础模型上显示出一些整体改进，但其平均性能仍然明显较低。 特别是在需要更详细回复的MMVet基准测试中，其性能甚至比基础模型更差。 这个结果强调了我们 LLaVA-o1-100k 数据集多阶段格式对于训练能够进行高级推理的模型的重要性。

结构化标签对于增强性能至关重要。

为了检查我们引入的四个标签是否提高了模型的性能，我们将 LLaVA-o1 与在移除结构化标签的 LLaVA-o1-100k 数据集上训练的模型进行比较。 如表 2 所示，我们的结果表明，当移除标签时，性能会显著下降，这表明结构化标记有助于推理并提高模型性能。 据我们所知， LLaVA-o1 是首次尝试通过带有标签的结构化推理成功地增强模型的推理能力和整体性能。

性能提升主要体现在推理密集型领域。

为分析 LLaVA-o1 与基础模型相比改进的具体领域，我们对MMStar基准测试中模型在不同技能上的性能进行了详细评估。 MMStar旨在评估六种关键能力：粗略感知、细粒度感知、实例推理、逻辑推理、数学和科学技术。 在表 3 中，我们将基础模型与 LLaVA-o1 进行了比较。 我们的分析表明， LLaVA-o1 在需要系统推理的任务（例如实例推理、逻辑推理、数学和科学技术）中表现出显著的改进，而在粗略感知和细粒度感知方面的改进相对较小。 这表明我们的方法主要可以提高模型的推理能力。