LLM2CLIP：强大的语言模型解锁更丰富的视觉表示

对比语言-图像预训练 (CLIP)。

CLIP (Radford 等人，2021) 是当今最重要的多模态模型之一。 通过在网络规模数据上进行训练，图像标题作为丰富、细粒度的监督信号，用于学习与图像密切相关的表示，从而使 CLIP 摆脱了手动定义标签的限制。 标题的丰富性赋予 CLIP 许多非凡的能力；除了零样本图像-文本检索外，CLIP 特征甚至可以实现区域级对应关系，支持零样本检测和分割任务。 此外，CLIP 是当前图像和视频理解任务中使用最广泛的编码器。 在 Tong 等人 (2024) 的分析中，它在 MLLMs 训练中各种视觉编码器中脱颖而出，成为最重要的模型，展示了其强大的能力。 对于生成性任务，CLIP 同样是基础。 它的文本和图像编码器用于提供文本控制 (Rombach 等人，2021; Ramesh 等人，2022) 和图像控制信号 (Blattmann 等人，2023; Zhang 等人，2023) ，用于调节生成模型。 此外，CLIP 分数 (Hessel 等人，2021) 已成为评估生成图像与文本相关性的重要指标。 虽然原始 CLIP 只利用了图像和文本模态，但 CLIP 已被大量扩展以包含各种其他模态 (Dai 等人，2024；He 等人，2023；Moon 等人，2022；Zhang 等人，2022) 。 CLIP 对视觉和多模态领域产生了重大影响，其影响力仍在不断增长。

CLIP 遇见更强大的语言模型。

许多研究探索了将 LLM 整合到 CLIP 中。 JinaCLIP (Koukounas 等人，2024) 使用了 Jina-embeddings-v2 (Günther 等人，2023) 作为文本编码器，它是一个具有 1.37 亿参数的 BERT 变体，支持更长的文本。 虽然在视觉性能方面与 EVA-CLIP (Sun 等人，2023) 相当，但其文本编码器远远落后于我们使用的 Llama3-8B，限制了 LLM 的潜在益处。 T5-V (Jiang 等人，2024) 采取了不同的方法，通过在 LLAVA-next-8B 的 MLLM 层 (Li 等人，2024a) 聚合 LLM 特征，同时冻结 ViT 梯度，重点调整 MLLM 输出。 但是，冻结视觉编码器并不能解决 ViT 本身缺乏复杂的视觉特征提取能力的问题，导致性能远低于 LLM2CLIP。 MATE (Jang 等人，2024) 设计了一个可学习的适配器，以弥合 CLIP 的文本编码器和 LLM 之间的差距。 他们使用 LoRA 在一个小数据集上训练了 CLIP 视觉编码器，该数据集专注于长文本图像检索任务。 但是，他们没有认识到我们在本文中提出的关键问题：LLM 特征空间的可分离性较差，不足以直接支持 CLIP 训练。 我们的工作旨在彻底探索 LLM 对 CLIP 作为基础模型的影响，超越其对长文本检索的影响。

CLIP 遇见更长的标题。

众所周知，CLIP 的文本嵌入质量粗糙，仅限于 77 个标记。 许多研究尝试扩展 CLIP 标题的长度并相应地重新训练 CLIP。 例如，DCI (Urbanek 等人，2024) 雇佣了标注者根据 SAM (Kirillov 等人，2023) 的目标提示来扩展标题。 LaCLIP (Fan 等人，2024) 采用了 ChatGPT、Bard 和人工改写。 DreamLIP (Zheng 等人，2024) 利用 ShareCaptioner (Chen 等人，2023) 和 InstructBLIP 扩充了 3000 万个字幕。 Recap-DataComp-1B (Li 等人，2024b) 使用 Llama3 训练的 LLAVA1.5 扩展了 10 亿个字幕。 为了处理超过 77 个符元的字幕，这些方法通过将长字幕总结成更短的字幕 (Urbanek 等人，2024) 、将字幕拆分成多个段落 (Fan 等人，2024；Zheng 等人，2024) 或微调模型的位置编码来支持更长的符元输入 (Zhang 等人，2024) 来做出妥协。 相比之下，LLM2CLIP 利用 Llama3 作为文本编码器，可以全面理解长而密集的字幕。 它不仅解决了符元长度的限制，还允许使用 LLMs 的开放世界知识更好地理解。 因此，我们的模型在性能上取得了突破。

3.1 原生 LLM 是 CLIP 的无效文本编码器

大型语言模型 (LLM)，例如 Llama-3，通过自回归在海量世界语料库上进行训练，使其具备开放世界知识，并能够执行各种任务。 我们最初希望利用 LLM 的能力直接重新训练 CLIP 模型。

尽管 LLM 表现出强大的文本理解能力，但很难直接用作文本嵌入模型。 这是因为它们的知识封装在模型中，它们的输出特征严重偏向于单个词预测。 作为生成式模型，它们没有经过训练以确保输出特征的良好线性可分性，这使得它们在用于解释 CLIP 的标题时效率较低。 正如 Chen 等人 (2022) 所强调的那样，CLIP 中的跨模态对比学习要求每种模态都具有强大的内部可区分性。

为了评估各种语言模型在文本可区分性方面的有效性，并测试 LLM 的原生输出特征是否如假设的那样难以区分图像标题，我们引入了一个新的指标：MS COCO 标题检索准确率 (CRA)。 MS COCO 是一个广泛使用的多模态数据集，包含超过 330,000 张图像，每张图像都有五个标题。 这些标题由不同的标注人员编写，为每张图像提供了不同的描述。 在我们对 MS COCO 验证集的评估中，我们只使用每张图像的前两个标题，并将同一图像的标题视为正样本对，而所有其他标题则作为负样本。 然后，我们执行标题到标题的检索，并使用不同的语言模型评估 Top-1 准确率，并将结果定义为它们的 CRA 分数。 更高的 CRA 分数表示语言模型对图像标题的更好可区分性。

如 表 1 所示，使用纯 LLM 会导致 CRA 分数仅为 18.4%，这表明大部分标题无法在输出空间中很好地分离。 事实上，距离相似的标题可能完全无关，如 图 2 所示。 然而，来自原始最先进 CLIP 模型的文本编码器实现了 66% 的 CRA 分数，证明了原生 LLM 输出特征在标题可区分性方面的不足。 因此，将 LLM 直接应用于 CLIP 模型训练是具有挑战性的。 表 6 中的后续实验也证实，用 Llama-3 8B 替换 CLIP 的文本编码器和相应的 ViT 进行对比学习，其性能明显低于原始 CLIP。

3.2 一个关键教训：LLM 学习用于图像标题识别

在本节中，我们的目标是对 LLM 的标记输出进行微调，以更好地捕获能够区分图像标题的特征。

改善 LLM 输出特征对标题文本的可区分性的过程非常简单：我们需要同一图像的标题之间的距离更近，而不同图像的标题之间的距离更远。 因此，我们将字幕对比（CC）微调应用于LLM的输出特征，将同一图像的不同字幕视为正样本，将其他字幕视为负样本。

为了获得同一图像足够多的不同描述，我们使用ShareCaptioner (Zheng 等人，2024；Chen 等人，2023) 修改后的 CC-3M (Sharma 等人，2018) 数据集，该数据集为每个图像提供原始字幕和增强密集字幕。 这些可以视为正对。 我们遵循LLM2Vec (BehnamGhader 等人，2024) 的训练方法，首先将LLM的注意力机制扩展到双向注意力，并采用掩码下一个标记预测（MNTP）进行初始化，以获得更好的结果。 具体来说：

首先，我们将LLM的因果注意力机制转换为双向注意力，因为我们不再需要它保留生成能力，而是作为编码器发挥作用。 由于不再需要自回归训练，因此切换到双向注意力可以提高其捕获上下文信息的能力。 其次，我们采用 MNTP 来训练新添加的双向注意力机制，提供强大的初始化。 对于给定的 N 符元序列，我们掩盖一个子集并预测其值，类似于 BERT (Devlin 等人，2018) 。 但是，与 BERT 不同的是，我们调整了此过程以适应 LLM 的性质，通过预测被掩盖符元之前的符元。 我们在图像字幕和纯文本上进行训练，权重相同。 除了 CC-3M，我们还使用 Wikitext-103 (Merity 等人，2016) 数据集来保留LLM的文本能力，防止其偏离其原始优势。 最后，我们执行实际的字幕对比微调，使用监督 SimCSE 损失将同一图像的字幕拉近，将不同图像的字幕推开。 我们使用两个提示模板：“给定一个字幕，检索一个详细的相关字幕”和“给定一个详细的字幕，检索一个简短的相关字幕”，它们被预先添加到查询（原始字幕或密集字幕）中以检索相应的密集字幕或原始字幕。 同样，我们使用从 Springer 等人 (2024) 策划的 150 万对通用文本数据集，以在纯语言任务中保持强大的性能。 所有训练使用 LoRA 高效地进行，并在一个 epoch 内完成，确保低计算成本。

随之而来的是一个显著的结果：在 CC-3M 上仅对 LLM 作为标题编码器进行了一个 epoch 的微调后，Llama-3 8B 的 CRA 分数从 18.4% 跃升至 73.0%，超过了之前在海量 Laion-2B (Schuhmann 等人，2022) 和 COYO-700M (Byeon 等人，2022) 图像-文本数据集上训练的最新 CLIP 和 EVA 模型的文本编码器。 如 表 6 所示，后续实验表明，在进行 CC 微调后，LLM 最终释放了其强大的功能，显著提升了先前最先进的 CLIP 模型的性能，这与未进行 CC 微调的结果形成鲜明对比。 这一突破揭示了 LLM 在 CLIP 训练中的潜力，并消除了利用 LLM 推进视觉基础模型的主要障碍。

3.3 LLM2CLIP : 使 SOTA CLIP 比以往更 SOTA

通过对 LLM 的上述修改，我们现在已经获得了非常适合 CLIP 训练的超级文本编码器。 下一步是将此 LLM 与预训练的最先进的 CLIP 视觉编码器结合使用，以重建更强大的跨模态特征空间。

如 图 1 所示，在 LLM2CLIP 训练阶段，我们冻结了LLM的梯度以保留其固有能力，主要有两个原因。 首先，这显著降低了微调的计算成本和内存占用。 CLIP 训练需要非常大的批次大小才能保持负样本的有效性。 为 LLM 分配内存可能会影响 CLIP 的性能。 其次，通过冻结 LLM，我们确保了它从大规模语料库中获得的开放世界知识在多模态对齐过程中保持完整。

为了弥补冻结的 LLM，并受到 FuseMix (Vouitsis 等人，2023) 和 APE (Rosenfeld 等人，2022) 等方法的启发，我们在 LLM 后引入了一些新的线性层作为适配器。 这些层充当可学习参数，以改善 LLM 和 CLIP 视觉编码器之间的对齐。 遵循 CLIP 的原始设计，我们还使用了一个投影层来对齐两个编码器的维度，便于使用 CLIP 损失进行训练。

利用这个强大的基于 LLM 的超级文本编码器，我们在 CLIP 的语言理解能力方面取得了实质性的质的飞跃。 LLM 的开放世界知识使 CLIP 视觉编码器能够学习更结构化且与人类知识一致的全局信息视觉表示。 此外，这种方法使我们能够充分利用高质量、长且密集的字幕数据集，而无需任何特殊的架构调整，而之前像 DCI、DreamLip 和 Recaption 这样的工作难以有效地利用这些数据集。 如 表 2 所示， LLM2CLIP 使任何现有的 SOTA CLIP 模型更加 SOTA，显著超越了之前的性能。

3.4 概述和效率讨论

我们提出 LLM2CLIP 作为一种有效地将大型语言模型 (LLM) 整合到 CLIP 训练中的方法，利用 LLM 的能力使跨模态表示学习变得更加强大。 在我们的实验中，我们评估了大型语言模型，包括具有 10 亿和 80 亿参数的 Llama，以及具有 120 亿参数的 Mistral-Nemo。将如此庞大的 LLM 纳入似乎会大大增加训练 CLIP 的计算负担，尤其是 CLIP 本身计算量很大，需要很大的批次大小。 然而，我们提出的 LLM2CLIP 非常轻便。 训练开销 几乎与 微调原始 CLIP 模型相同，仅需极小的额外成本，但 LLM 提供了更强大的监督。

这里，我们重点介绍了一些显著提高训练效率的设计细节： 1)。 在字幕对比微调阶段，我们对 LLM 使用 LoRA 训练。 即使对于 120 亿参数的 LLM，使用 512 批次大小训练也只需要大约 70GB 的 GPU 内存，这使得它可以在单个 80GB 8 A100 GPU 节点上运行。 2). 在 LLM2CLIP 阶段，我们冻结了 LLM 的梯度，只训练可学习的适配器、CLIP 的原始视觉编码器和两个投影器。 额外的可训练参数大致相当于原始 CLIP 中的参数，将开销降至最低。 为了进一步降低使用 LLM 的推理成本，我们预先提取了训练数据中的所有文本特征，并将它们存储在内存中。 这确保了即使 LLM 提供了强大的文本监督，训练期间的内存和计算成本也 几乎与 标准 CLIP 训练相同。

例如，当我们使用 Mistral-Nemo ¹ 120 亿模型训练 LLM2CLIP 时，该模型与常用的 EVA ViT-L/14-224 集成，使用 8 个 H100 GPU 的 4096 批次大小，每个 GPU 的内存使用量仅为 30GB，整个训练过程仅需 9 个小时。 尽管训练成本低廉， LLM2CLIP 在下游任务中带来了变革性的改进，例如长文本和短文本检索、跨语言检索和 LLAVA 训练。

4.1 实验设置

4.2 主要结果