CogVLM：预训练语言模型的视觉专家

2.1 架构

CogVLM 模型包含四个基本组件：视觉 Transformer (ViT) 编码器、MLP 适配器、预训练大型语言模型 (GPT) 和视觉专家模块。 图 4 显示了 CogVLM 架构的概述。 组件的设计和实现细节如下：

ViT 编码器 。 我们在 CogVLM-17B 中使用了预训练的 EVA2-CLIP-E (Sun et al., 2023b) 。 注意，ViT编码器的最后一层被移除，因为它专门用于聚合用于对比学习的[CLS]特征。

MLP适配器 。 为了将ViT的输出映射到与词嵌入文本特征相同的空间，我们使用了一个MLP适配器，一个两层MLP（SwiGLU (Shazeer, 2020) ）。 为了实现方便，所有图像特征在语言模型中共享相同的position id。

预训练大型语言模型 。 CogVLM的模型设计兼容任何现成的GPT风格预训练大型语言模型。 特别地，CogVLM-17B采用Vicuna1.5-7B (Chiang et al., 2023) 进行进一步训练。 一个因果掩码被应用于所有注意力操作，包括图像特征之间的注意力。

视觉专家模块 。 我们在每一层添加一个视觉专家模块，以实现深度视觉语言特征对齐。 特别地，每一层中的视觉专家模块由每一层中的一个QKV矩阵和一个MLP组成。 QKV矩阵和MLP的形状与预训练语言模型中的形状相同，并从预训练语言模型中初始化。 其动机是语言模型中的每个注意力头捕获语义信息的某个方面，而一个 可训练的 视觉专家可以转换图像特征以与不同的注意力头对齐，从而实现深度融合。

正式地，假设注意力层的输入隐藏状态为 X ∈ ℝ B × H × ( L I + L T ) × D ，其中 B 是批大小， L I 和 L T 是图像和文本序列的长度， H 是注意力头的数量， D 是隐藏大小。 在带有视觉专家的注意力中， X 首先被分成图像隐藏状态 X I 和文本隐藏状态 X T ，注意力计算如下：

其中 W I , W T 是视觉专家和原始语言模型的QKV矩阵，并且 Tril ( ⋅ ) 表示下三角掩码。 FFN层中的视觉专家表现相似，

其中FFN _I 和FFN _T 分别是视觉专家和原始语言模型的FFN。

位置嵌入。 在LLM中的RoPE中，我们允许所有视觉符元共享单个位置ID，因为它们在输入到ViT时已经封装了位置信息。 这种方法减轻了LLM中符元之间远程衰减的影响。 鉴于图像可以占据数百到数千个符元，并且典型的输入序列结构为 ‘ query’ ，使用传统的位置编码将导致编码序列过长。 此外，这将导致查询更多地关注与其更接近的图像序列，即图像的下部。

2.2 预训练

数据。 用于预训练的图像-文本对都是公开可用的，包括LAION-2B和COYO-700M。 去除损坏的URL、NSFW图像、带有噪声标题的图像、带有政治偏见的图像和纵横比为 > 6 或 < 1 / 6 的图像后，大约剩下15亿张图像用于预训练。

我们还制作了一个包含4000万张图像的视觉接地数据集。 图像标题中的每个名词都与边界框相关联，以指示图像中的位置。 建设过程基本上遵循 (Peng et al., ) ，该过程通过spaCy (Honnibal & Johnson, 2015) 提取名词，并使用GLIPv2 (Zhang et al., 2022) 预测边界框。 图像-文本对采样自LAION-115M，它是LAION-400M的一个子集，由 (Li et al., 2023b) 过滤。 我们过滤并保留了 4000 万张图像的子集，以确保超过 75% 的图像包含至少两个边界框。

训练。 预训练的第一阶段是针对 图像字幕损失 ，即文本部分的下一个符元预测。 我们使用批次大小为 8192，对上述 15 亿个图像文本对训练 CogVLM-17B 模型，迭代次数为 120,000 次。 预训练的第二阶段是图像字幕和指称表达式理解 (REC) 的混合。 REC 是一项根据物体的文本描述预测图像中边界框的任务，其训练形式为 VQA，即 问题： 物体 在哪里？ 和 答案： [ [ x 0 , y 0 , x 1 , y 1 ] ] 。 x 和 y 坐标的范围从 000 到 999 ，表示图像中的归一化位置。 我们只考虑“答案”部分中下一个符元预测的损失。 我们使用上述文本图像对和视觉定位数据集，对第二阶段进行预训练，迭代次数为 60,000 次，批次大小为 1,024。 在最后 30,000 次迭代中，我们将输入分辨率从 224 × 224 更改为 490 × 490 。 可训练参数的总数为 65 亿。

2.3 对齐

在指令对齐阶段，我们训练了两个通用的模型：CogVLM-Chat 和 CogVLM-Grounding。 CogVLM-Chat 接收自然语言输入和输出，而 CogVLM-Grounding 接收包含边界框的输入和输出。

CogVLM-Chat。 在我们的研究中，我们整合了来自各种开源视觉问答数据集的数据，包括 VQAv2 (Antol et al., 2015) ，OKVQA (Marino et al., 2019) ，TextVQA (Singh et al., 2019) ，OCRVQA (Mishra et al., 2019) ，ScienceQA (Lu et al., 2022) ，以及格式化为多轮对话的数据集，例如 LLaVA-Instruct (Liu et al., 2023c) ，LRV-Instruction (Liu et al., 2023a) ，LLaVAR (Zhang et al., 2023) 。 然后，我们对这些不同的数据集进行了统一的指令监督微调 (SFT)。 SFT 数据的完整性和质量至关重要；值得注意的是，最初通过仅使用语言的 GPT-4 管道生成的 LLaVA-Instruct 数据集包含某些不准确之处。 我们通过人工检查和标注仔细纠正了这些错误，以确保数据质量。

VQA 数据集通常具有简洁的，通常是一个词的答案，这与提供具有广泛推理的详细响应的对话数据集形成对比。 为了适应这种可变性，我们使用了格式为 问题：简短答案： 用于简洁的回复，以及 问题：答案： 用于SFT阶段的扩展话语。

在训练过程中，模型进行了6000次迭代，学习率为1e-5，批量大小为1024。 为了增强和确保训练的稳定性，我们激活了视觉编码器的参数，并将其学习率调整为其余训练参数学习率的十分之一。

CogVLM-Grounding。 为了赋予我们的模型一致的、交互式的视觉定位能力，我们收集了一个高质量的数据集，涵盖了4种类型的定位数据：（1） 基于语境的字幕生成（GC） ——图像字幕数据集，其中每个名词短语后面都跟着相应的参考边界框；（2） 指称表达生成（REG） ——面向图像的数据集，图像中的每个边界框都用准确描述和指代特定区域内容的描述性文本表达进行标注；（3） 指称表达理解（REC） ——面向文本的数据集，每个文本描述都用多个参考链接进行标注，这些链接将短语与相应的框关联起来；（4） 基于语境的视觉问答（GroundedVQA） ——VQA风格的数据集，其中问题可能包含给定图像中的区域引用。 定位数据的来源都是公开可用的，包括Flickr30K Entities (Plummer et al., 2015) ，RefCOCO (Kazemzadeh et al., 2014; Mao et al., 2016; Yu et al., 2016) ，Visual7W (Zhu et al., 2016) ，VisualGenome (Krishna et al., 2017) 和 Grounded CoT-VQA (Chen et al., 2023a) 。 [ b o x ] 在本节中的格式为 [ [ x 0 , y 0 , x 1 , y 1 ] ] 。

值得注意的是，这些精心策划的数据集展现了视觉定位能力的多样性，许多数据集可以适用于不同的任务。 例如，基于语境的字幕数据集可以重新制定以适应REG和REC任务。 以 “一个男人 [ b o x 1 ] 和一个女人 [ b o x 2 ] 一起散步。” 为例，这可以重新表述为问答对，例如 （“描述这个区域 [ b o x 2 ] 。”，“一个女人。”） 和 （“男人在哪里？”，“ [ b o x 1 ] ”） 。 同样，REC数据集可以通过切换输入和输出转换为REG任务，反之亦然。 但是，某些转换可能会导致歧义。 例如，当给出字幕“一个男人 [ b o x 1 ] 在跑步，另一个男人 [ b o x 2 ] 在观看。”中提取的独立查询“另一个男人在哪里？”时， [ b o x 1 ] 和 [ b o x 2 ] 之间的区别变得模糊，可能导致错误。

3.1 图像字幕生成

我们在上述四个基准测试上评估了我们预训练的基础模型的图像字幕生成能力。 在对Nocaps和Flickr数据集进行零样本评估时，我们评估了模型在描述长尾视觉概念方面的精度。 此外，我们还展示了在COCO和TextCaps数据集上微调的结果。

详细性能如表 1 所示。 总体而言，我们的模型在所有方面都达到了最先进的或相当的性能。 具体来说，在NoCaps基准测试中，我们的基础模型在四个分割中都优于之前的最佳方法GIT2，在非领域集合中的最大值达到 5.7 分，而仅使用了10%的预训练数据（15亿个符元与129亿个符元）。 在Flickr基准测试中，我们的模型达到了 94.9 的最先进分数，比同时发布的Qwen-VL模型高出 9.1 分。 这些结果证明了我们的预训练模型在图像字幕任务中的卓越能力和鲁棒性。 我们还在COCO (Lin et al., 2014) 和TextCaps上评估了我们的模型，其中后者专门设计用于将给定图像的文本信息整合到字幕中。 尽管没有使用专门的光学字符识别（OCR）数据进行训练，令人鼓舞的是，我们的基础模型展现出显著的文本阅读能力，并获得了与PaLI-X-55B具有竞争力的性能，并且比同等规模的先前最佳模型PaLI-17B高出 9.1 分。