SigLIP 2：具有改进语义理解、定位和密集特征的多语言视觉语言编码器

2.1 架构、训练数据、优化器

对于架构，我们遵循 SigLIP [71] ，以便现有用户可以简单地替换编码器权重。 特别地，固定分辨率变体依赖于具有学习位置嵌入的标准 ViT 架构 [15] 。 我们对图像和文本塔使用相同的架构，除了与 So400m 大小 [1] 的文本编码器配对的 g 大小视觉编码器。 使用 MAP 头（注意力池化） [69] 对视觉和文本表示进行池化。 我们将文本长度设置为 64，并使用具有 256k 词汇量的多语言 Gemma 分词器 [22] ，在分词之前将文本转换为小写。

我们使用 WebLI 数据集 [10] ，其中包含 100 亿张图像和 120 亿个替代文本，涵盖 109 种语言。 为了在英语和多语言视觉语言基准测试中取得良好的质量平衡，我们构建混合数据集，其中 90% 的训练图像文本对来自英语网页，其余 10% 来自非英语网页，如 [49] 中推荐的那样。 我们进一步应用来自 [2] 的过滤技术来减轻表示中与敏感属性相关的數據偏差。

除非另有说明，我们使用具有学习率 10 − 3 、解耦权重衰减 10 − 4 [37] 和梯度裁剪到范数1的Adam优化器。 我们将批量大小设置为32k，并使用具有20k预热步长的余弦调度，总共训练40B个示例。 我们的模型在多达2048个TPUv5e芯片 [24] 上使用完全分片数据并行策略(FSDP [72] )进行训练。

2.2 使用Sigmoid损失和解码器进行训练

在预训练的第一步中，我们通过简单地将这两个损失函数以相等的权重组合，将SigLIP [71] 与LocCa [62] 结合起来。 与依赖对比损失的CLIP [50] 不同，SigLIP通过将小批量中的每个图像嵌入与每个文本嵌入组合来创建二元分类问题，并训练嵌入通过逻辑回归（sigmoid损失）对匹配和不匹配的配对进行分类。 我们使用原始实现，并参考 [71] 了解详细信息。

对于LocCa，我们将具有交叉注意力的标准Transformer解码器附加到未池化的视觉编码器表示（在应用MAP head之前）。 解码器遵循文本编码器的形状，只是我们增加了交叉注意力层并将层数减少了一半。 除了图像字幕生成外，LocCa还针对自动参照表达式预测和基于位置的字幕生成进行训练。 前者相当于预测描述特定图像区域的字幕的边界框坐标，而后者则涉及给定边界框坐标预测特定区域的字幕。 区域-字幕对通过首先从alt文本中提取n-gram，然后使用 [41] 中的方法应用开放词汇检测来自动标注。 此外，我们使用来自 [10] 的固定对象类别集，而不是n-gram。 对于每个示例，解码器都被训练来预测所有三个目标（相当于三个解码器前向传递）。 字幕目标使用并行预测 [60] 以50%的概率进行预测，即所有字幕符元都从掩码符元并行预测，无需因果注意力掩码。 请参考 [62] 了解更多详情。 最后，为了减少由于词汇量大而导致的内存消耗，我们实现了解码器损失的块状版本。

对于所有模型尺寸，我们将视觉编码器块大小设置为16，图像分辨率设置为256（导致图像表示序列长度为256）。 最后，我们注意到解码器在这里仅用于表示学习，而不是模型发布的一部分。

2.3 使用自蒸馏和掩码预测进行训练

遵循SILC [45] 和TIPS [38] ，我们使用局部到全局对应学习以及自蒸馏和掩码预测损失 [9, 75, 47] 来增强第 2.2 节中描述的训练设置，以改进（未池化）特征表示的局部语义。 此表示通常用于密集预测任务，例如分割、深度估计等。 具体来说，我们根据下文的详细说明，在第 2.2 节中描述的损失中添加了两项。

第一项是来自 [45] 的局部到全局一致性损失，其中视觉编码器成为学生网络，它获得训练图像的部分（局部）视图，并经过训练以匹配教师的表示（从完整图像中导出）。 此辅助匹配任务是在使用单独的MLP头计算的高维特征空间中执行的。 与文献中常见的情况一样，教师参数是通过先前迭代中学生参数的指数移动平均值 (EMA) 获得的。 我们依赖于单个全局（教师）视图和8个局部（学生）视图，否则遵循来自 [45] 的增强、损失和超参数。

第二个损失项是来自 [38] 的掩码预测目标。 我们用掩码符元替换学生网络中50%的嵌入图像块，并训练学生以匹配掩码位置处教师的特征。 然后，损失的定义与第一项（一致性损失）相同，但应用于每个块的特征，而不是池化的图像级表示。 此外，学生和教师都看到相同的全局视图（学生中的掩码除外）。

我们在训练完成 80% 时添加这些损失，使用学生的参数初始化教师，并将剩余的附加参数（头部、掩码符元和相应的优化器参数）随机初始化。 我们使用原始图像计算上一节中的 SigLIP 和 LocCa 损失，并在附加的增强视图上应用附加损失。 这是为了确保数据增强不会对图像文本对齐产生负面影响，正如 [45] 所推荐的那样。 第一个和第二个损失项的权重设置为 1 和 0.25。 此外，为了平衡模型在全局/语义和密集任务上的质量，我们再次将两个损失项的权重调整为另一个因子 0.25、0.5、1.0 和 0.5，分别对应 B、L、So400m 和 g 模型大小。

2.4 适应不同的分辨率

2.4.2 可变纵横比和分辨率 (NaFlex)

NaFlex结合了FlexiViT [6] （即，使用单个ViT模型支持多个预定义序列长度）和NaViT [12] （即，以其原生纵横比处理图像）的思想。 这使得能够以适当的分辨率处理不同类型的图像，例如，使用更高分辨率处理文档图像，同时最大限度地减少纵横比失真对某些推理任务（例如OCR）的影响。

给定一个补丁大小和目标序列长度，NaFlex首先通过调整输入图像的大小来预处理数据，使得调整大小后的高度和宽度是补丁大小的倍数，同时1）使纵横比失真尽可能小，2）产生的序列长度最多为所需的目标序列长度。 因此在宽度和高度上产生的失真分别最多为 (patch_size-1)/width 和 (patch_size-1)/height ，对于常见的分辨率和纵横比而言，这往往很小。 请注意，NaViT也会产生相同类型的失真。 调整大小后，图像被分割成一系列补丁，并添加补丁坐标以及带有填充信息的掩码（用于处理实际序列长度小于目标长度的情况）。

为了使用ViT处理不同的序列长度（和纵横比），我们使用双线性插值（带抗锯齿）将学习到的位置嵌入调整到调整大小后的输入图像的目标非方形补丁网格。 我们将学习到的位置嵌入的长度设置为256，假设在调整大小之前有一个 16 × 16 补丁网格。 当调整大小后的序列长度小于目标序列长度时，注意力层（包括MAP头）将被屏蔽以忽略额外的填充符元。

至于固定分辨率的自适应变体，我们从第 2.2 节中描述的设置（即，非保持纵横比的调整大小到256像素，导致序列长度为256）训练的默认检查点开始。 我们采用训练完成90%时的检查点，然后切换到保持纵横比的调整大小，并从 { 128 , 256 , 576 , 784 , 1024 } 中统一采样每个小批量的序列长度。 同时，我们将对应于最后10%的学习率调度表乘以一个 3.75 因子，以确保每个分辨率都训练了足够多的样本。 对于最大的序列长度，我们进一步将批量大小减半，并将训练步数加倍，以避免内存不足错误。

为了保持实现和计算复杂度的可管理性，我们没有应用第 2.3 节中的自蒸馏和掩码预测。

2.5 通过主动数据整理进行蒸馏

为了最大限度地提高最小固定分辨率模型（ViT-B/16和ViT-B/32）的性能，我们在一个简短的微调阶段从教师（参考）模型中提取知识。 我们将学习率降低到 10 − 5 ，移除权重衰减，并使用仅包含sigmoid图像-文本损失的额外40亿个示例继续训练这些模型。 在此阶段，我们使用 [61] 中提出的ACID方法执行隐式“通过数据进行蒸馏”。 简而言之，在每个训练步骤中，教师模型和当前学习者模型都用于根据其“可学习性” [42] 对示例进行评分。 然后，这些分数用于从更大的超级批次 [16] 中联合选择一个大小为32k的最佳批次。 在这里，我们选择过滤比率为0.5（即超级批次大小为64k）的数据，以平衡整理带来的收益和训练计算量。 对于B/32模型，我们发现利用0.75的过滤比率是值得额外成本的。

我们注意到 [61] 中的作者建议，使用ACED可以获得最佳性能，ACED是一种将ACID与显式softmax蒸馏（使用在更多样化数据上训练的第二个教师）相结合的方法。 但是，在这里我们提出了一种方法来调整ACID以获得这些好处 而无需显式蒸馏 ，从而节省大量的计算量。 特别地，我们没有使用两个单独的教师模型，而是采用一个在多样化数据（在本例中为SigLIP 2 So400m模型）上训练的强大的教师模型，并在 [16] 的高质量整理数据集上对其进行10亿个示例的微调。 然后，我们如上所述，在ACID方法中使用这个微调后的教师模型。 由于这个教师模型融合了来自预训练的概念的多样化知识以及高质量知识（来自整理的数据集），因此仅靠ACID的隐式蒸馏就足以获得ACED的好处。

3.1 零样本分类和检索

在表 1 中，我们报告了 SigLIP 2 以及基线在常见的零样本分类（ImageNet [13] 、ObjectNet [4] 、ImageNet-v2 [53] 、ImageNet ReaL [5] ）和图像文本检索基准上的性能。 SigLIP 2 的性能全面优于 SigLIP 和其他（开放权重）基线，尽管与基线（mSigLIP [71] 除外）相比，它支持多种语言。 请注意，DFN [19] 在这些基准测试中与 SigLIP 2 最接近，它使用在 ImageNet、COCO 和 Flickr（即表 1 中的主要基准）上微调的网络作为过滤器来提高数据质量。 由于蒸馏（第 2.5 节），SigLIP 2 对基线的改进对于 B 型号尤其显著。 此外，我们观察到图像分辨率和模型大小的常见缩放趋势。

表 1 和图 2 进一步显示了在涵盖 36 种语言的 Crossmodal-3600 (XM3600) [58] 上的多语言检索性能。 SigLIP 2 的召回率大大超过 SigLIP，同时仅略微落后于 mSigLIP，而 mSigLIP 在侧重英语的基准测试中的性能则大大低于 SigLIP 和 SigLIP 2。

3.2 SigLIP 2 作为 VLMs 的视觉编码器

CLIP 和 SigLIP 等视觉编码器的一种常用用例是为 VLMs [3, 32, 48, 35, 7, 39, 59] 提取视觉表示。 常用的范例是将预训练的视觉编码器与预训练的 LLM 相结合，并在丰富的视觉语言任务混合体上进行多模态训练。 为了评估 SigLIP 2 在此应用中的性能，我们开发了一个类似于 PaliGemma 2 [56] 的方法。 具体来说，我们将 SigLIP 2 视觉编码器和基线与 Gemma 2 2B LLM [23] 相结合，并在来自 [7, 56] 的 5000 万个 Stage 1 训练混合示例上训练 LLM，这些示例涉及字幕、OCR、地面真相字幕、视觉问答、检测和实例分割（最后四个任务的标注是机器生成的，详情请参见 [7, Sec. 3.2.5] ）。 我们保持视觉编码器冻结（这基本上不会影响质量 [7, Sec. 5.4] ），并缩短训练时间以反映典型的开放模型用例。 然后，使用来自 [56] 的迁移设置，在广泛的下游任务上微调生成的 VLM。 为了了解输入分辨率的影响，我们分别在 224 或 256 分辨率（对于补丁大小分别为 14 和 16 的模型，以提取 256 个图像符元）和 384 像素下进行了实验，但与 [7, 56] 不同的是，我们在 384 像素下重复阶段 1，而不是从 224 像素变体开始。

图 4 显示了每个数据集微调后的结果。 总体而言，SigLIP 2 在各种分辨率和模型尺寸下都明显优于 SigLIP。 对于L尺寸的视觉编码器，SigLIP 2 也优于最近发布的 AIMv2 模型 [20] 。 图 4 中的数据也可以在表 6 中找到。

3.3 密集预测任务